211014 GoingDeeper 11. 백본 네트워크 구조

논문의 형식적 구조

• 초록(abstract) : 아이디어를 제안하는 방식과 학계에 이 논문이 기여하는 점을 요약
• 논문 내용 : 서론 & 관련연구 → 이론설명 → 실험 → 결론
  • 이전까지의 연구가 해결하지 못했던 문제의식 : 서론, 이론 설명
    • 서론(Introduction) : 논리구조를 명확하게 정리하여 제시하는 가장 중요한 역할
  • 이 문제를 해결하기 위한 그동안의 다른 시도들 : 관련 연구(related work)
  • 이 문제에 대한 이 논문만의 독창적인 시도 : 본론과 실험(Experiments)
    • 실험(Experiments) : 제안하는 방법의 효과를 확인하기 위한 실험셋팅과 결과
  • 그러한 시도가 가져온 차별화된 성과 : Experiment에 포함된 실험 결과와 해석
    • 결론(conclusion) : 연구 내용 요약과 추가적인 연구방향을 소개
• 참고문헌과 부록
  • 참고문헌(reference) : 논문의 설명과 구현에 있어 인용한 논문들의 리스트가 소개
  • 부록(appendix) : 미처 본문에서 설명하지 못한 구현이나 또는 추가적인 실험 설명이 포함

😭 석사 시작때 미리 알았으면 좋았을 걸... 멘땅에 해딩하느라 힘들었는데... 😭

Deep Residual Learning for Image Recognition 논문 읽기

경사소실(vanishing gradient)

Ablation Study(제거연구)

• 딥러닝 논문은 여러 가지 방법들을 결합해서 어떤 문제를 해결하는 방법을 제시합니다. 이때 제안한 방법들의 유효함을 증명하기 위해서 보통 딥러닝 논문에서는 해당 방법을 "제거"한 모델로 수행한 실험과, 해당 방법을 추가한 모델로 수행한 실험의 결과를 비교합니다.
• "아이디어를 제거해 봄으로써" 제안한 방법이 어떻게 성능이나 문제에 해결에 효과를 주는지 확인하는 실험
  • ex) ResNet논문에서 제시한 residual connection의 애블레이션 연구
    • 이미지넷(ImageNet) 검증 데이터셋(validation dataset)에 대한 Top-1 error rate을 지표로 사용
    • plain(residual connection이 없는 일반 네트워크)와 ResNet을 비교하여 이를 통한 성능 향상을 증명한다.