CNN Basic

Convolution 연산

신호(signal)를 커널을 이용해 국소적으로 증표 또는 감소시켜서 정보를 추출, 필터링하는 것

CNN에서 사용하는 연산은 계속 convolution이라고 불러왔지만 정확히는 cross-correlation이다.

*** 위치(i,j)에 따라 커널이 바뀌지 않는다.

1D-conv : $[f*g](i) = \sum_{p=1}^{d}f(p)g(i+p)$

2D-conv : $[f*g](i,j) = \sum_{p,q}f(p,q)g(i+p,j+q)$

각 원소 성분곱으로 위의 결과는 19이다.

결과는 입력 크기 - 커널 크기 + 1 이다.

여러개의 2차원은 3차원으로 보고 Tensor라고 부른다.

채널이 여러 개인 2차원은 convolutions은 채널 개수만큼 커널을 만들고 각각의 2차원 입력에 적용한 후 더하면서 수행한다.

Back propagation

포워딩 반대로 미분을 이용하여 가중치를 업데이트 시켜주는 과정이다.

$o_i = \sum_{j}w_jx_{i + j-1}$
으로 forwarding 된다.

예시로
$x_1$에서 $x_5$까지 있을 때 커널 $w_1,w_2,w_3$, 결과도 $o_1,o_2,o_3$가 있다고 하면

입력 $x_3$은 $w_3$과 곱해져 $o_1$에 더해졌고 $w_2$과 곱해져 $o_2$에 더해졌고 $w_1$과 곱해져 $o_3$에 더해졌다.

그래서 역전파단계에서는 각 $\delta_1,\delta_2,\delta_3$들은 차례로 $w_3,w_2,w_1$순서로 곱한 후 모두 더해 $x_3$에 그래디언트를 전달한다.

커널에게는 각 $\delta_1,\delta_2,\delta_3$들에게 $x_3$를 곱해서 각 커널에 전달한다.

이를 전체적인 식으로 살펴보면

$\frac{\partial L}{\partial w_i} = \sum_{j}\delta_jx_{i+j-1}$