ResNet

잔차 신경망(residual neural network) 2015년 MS에서 제안한 신경망 구조이다.
잔차 모듈과 스킵 연결 새로운 구조가 사용되었다.

기울기 손실

층수가 매우 많은 신경망의 문제점은 앞쪽에 위치한 층의 가중치를 수정하기 위한 신호가 매우 작아진다.
기울기 손실 문제가 발생하면 신경망의 성능이 더 이상 개선되지 않거나 오히려 악하된다.

잔차 블록

• 합성곱층의 필러 크기 : 11 x 11, 5x5, 3x3
• 최대 풀링 사용
• 과적합 방지를 위한 드롭아웃 적용
• 은닉층을 활성화 함수는 ReLU, 출력층의 활성화 함수는 소프트맥스 함수 사용

https://github.com/moelgendy/deep_learning_for_vision_systems/blob/master/chapter_05/resnet50_implementation_in_keras.ipynb

[참고자료]
https://www.hanbit.co.kr/store/books/look.php?p_code=B6566099029