벡터 연산 및 가중치 행렬

스칼라Scaler

숫자 하나

ex)1,2,3

 

벡터Vector

숫자 여러개

v=(1,2,3)

 

벡터 표기

 

함수의 종류

다변수 스칼라 함수 표현

 

f(x,y)는 그릴 수 있다.

 

오른쪽 그림 f(x,y)=c 그래프로 c의 개수만큼 등고선이 그려진 것(c=200,30,600) 총 3개의 선이 그려진 것

 

 

f(x,y,z)는 그림으로 표현할 수 없음 3차원부터는 그릴 수 없다

f(x,y,z)=c(상수)같은 그래프는 c에 대한 등고선을 그을 수 있음 하지만 이해하기는 어려움

 

 

 

가중치 행렬

가중치 행렬(w)은 노드의 그래프 표기로 생성된 가중치 그래프이다.

 

그래프 정의

정점(vertex)의 집합 V와 서로 다른 정점쌍(vi,vj)를 연결하는 모서리(edge)의 집합E로 구성된 구조

그래프 형태

단순 그래프(simple graph)

-두 정점 사이에 오직 하나의 모서리가 있는 그래프

다중 그래프(multi graph)

-두 정점 사이에 둘 이상의 모서리가 있는 그래프

의사 그래프(pseudo graph)

- 루프를 허용하는 그래프

가중치 그래프(weighted graph)

- 모서리에 가중치가 부여된 그래프

 

인접 리스트adjacency list

각 정점에 인접하는 정점들을 리스트로 표현

 

 

 

 

 

 

 

위 그림 처럼 W(1)은 입력 노드 3개, 출력 노드 5개 이므로 (3,5)의 인접행렬을 만들 수 있음

W(2)는 (5,3)행렬임

 

 

입력 혹은 w를 트랜스포즈 하는 이유

f(x)= wx+b 형태를 기본적으로 취하기 때문에 머신러닝 학습시

입력x를 x(T)해줘서 뒤에서 w를 곱하게된다. 하지만, 이것은 pytorch, tensorflow가 각각 다르다.(공식문서 참조)

 

 

※ 포워드와 백워드 각각 가중치 업데이트 혹은 백워드까지 했을 때 가중치 업데이트 등에 따른 차이에 대한 논문

https://arxiv.org/abs/1502.05767

Automatic differentiation in machine learning: a survey