ResNet -1

↑ 1. 입력값과 출력값 차원 동일한 경우 ResNet 기본 구조

• X identity : skip connection

2. 입력값과 출력값 차원 다른 경우

ex) CNN 의 경우 레이어 거치면 입력 이미지 크기가 줄게 되는데, 이렇게 되면 f(x)와 x identity의 차원이 달라진다. 다시 말해, f(x)와 x (identity)는 덧셈이 불가하다.

이를 위해 줄어든 행렬 f(x)에 크기를 맞춰줘야한다. 다시 말해, skip connection을 거친 x에도 후처리가 추가적으로 필요하다.

이를 식으로 나타내면 다음과 같다.

y = F(x,Wi)+Ws*x

Wi: CNN 레이어에 속한 가중치

Ws: skip connection 을 마친 x를 행렬 덧셈 가능하도록 (크기 맞춰주는)