네이버 AI Tech 부스트캠프에서 멘토링을 매주 1회씩 받으면서, AI 엔지니어로서의 최근 논문과 AI 아키텍처에 대한 이해가 많이 부족하다는 점을 느끼고 있다. 그렇기에 이렇게 매주 2,3개씩 관심 있는 대학원 연구실의 논문 리뷰 영상들을 보고, 직접 논문도 읽고 정리해보려고 한다.

현재 포스팅에 읽는 논문을 하나씩 열거할 예정이고, 1월 전후까지 30편 정도를 읽어 딥러닝 모델 아키텍처에 대한 이해도를 높이려는 목표가 있다.

📚 리뷰한 Paper List

1. ON LARGE-BATCH TRAINING FOR DEEP LEARNING:GENERALIZATION GAP AND SHARP MINIMA

(2023.11.15 공부)

• Publish : 2017/02/09 (ICLR 2017)
• 요약 : Small Batch size가 Large Batch size보다 Generalization Performance(모델이 새로운 데이터에 대해서도 괜찮은 성능을 보이는 것) 측면에서 더 낫다.