[AIFFEL] 22.Mar.16, Going_Deeper - ResNet, DenseNet, SENet, EfficientNet

오늘의 학습 리스트

ResNet에서 궁금한 점들

• 쌓여있는 레이어가 underlying mapping을 fit하는 것보다 residual mppaing을 fit하는 것이 쉽다." 그리고 shortcut connection이 이 역할을 정확하게 할 수 있다고 말합니다. 즉, 이전에 학습된 모델(레이어들)의 출력과 추가된 레이어의 출력의 차이값인 나머지(residual)만 학습하면 되기에 연산이 간단해지고, error값 크기의 측면에서 학습이 더 쉽다는 것입니다.

• Multi-label classification
  • https://towardsdatascience.com/multi-label-image-classification-with-neural-network-keras-ddc1ab1afede
• FLOPS
  • 딥러닝 분야에서는 시간이 아닌 연산횟수
  • $+, *$ 등등 총 사용한 연산 횟수임
  • 그래서 원래는 Floating point operation per second 인데,
  • 여기서는 Floating point operations 임

더 공부할 것

• Identity Mapping
• Pre-activation