ResNet(Residual Network)

ResNet(Residual Network)은 딥 러닝 아키텍처의 한 종류로, 이미지 분류 및 다양한 컴퓨터 비전 태스크에서 매우 성공적으로 사용되는 모델

Residual block이라고 불리는 구조를 사용하여 깊은 신경망을 학습

• 레이어를 하나씩 쌓는 대신, 기존의 레이어에 입력 데이터를 직접 더하는 형태로 네트워크를 구성
• 이렇게 함으로써 네트워크가 입력과 출력 사이의 잔여 함수를 학습하게 되는데, 이 잔여 함수를 학습하기가 원래의 입력을 직접 학습하는 것보다 더 쉬워 이러한 구조로 인해 그레디언트 소실 문제가 줄어들고, 매우 깊은 네트워크를 효과적으로 학습할 수 있게 됨

Benefits of the identity skip-connections
• Resolving the degradation problem of very deep networks through residual connection
• Directly propagating the gradient of higher layers to lower layers

층을 깊게 쌓았음에도 gradient가 사라지지 않는 이유는 다음 그림의 구조에 있음

특징

• Simple but just deep
  • Following the style of VGG
  • All 3x3 conv filters, except the first conv layer
  • Batch normalization after every conv layer
  • 일정한 간격으로 합성곱 필터의 수를 두 배로 늘리고, 공간적으로는 스트라이드 2를 사용하여 공간 해상도를 절반으로 줄임 -> 이는 네트워크가 더 깊어질수록 추상적인 특징을 학습하고 다양한 크기의 특징을 감지할 수 있도록 도와줌
• Other remarks
  • 마지막 분류 레이어를 제외하고는 Fully Connected (FC) 레이어가 없음. 대신 마지막 합성곱 레이어 뒤에 Global Average Pooling을 사용하여 특성 맵의 공간 정보를 평균화하고, 이를 최종 분류 레이어에 입력으로 사용. 이를 통해 입력 이미지 크기에 상관없이 일정한 크기의 특성을 추출
  • No dropout