ML/DL 논문 읽기 ft.Andrew Ng 선생님의 말씀

ML, DL 세계에 들어온 사람이라면, 이제 막 입문자이든 ML Engineer라는 타이틀을 자신있게 쓰는 사람이든 논문(academic literature)을 읽는 건 아주 기본적인 일상이 될 것이다.
앤드류응 교수님의 논문 읽기에 관련한 조언을 간단히 정리해보자.
Stanford CS230: Deep Learning | Autumn 2018 | Lecture 8 - Career Advice / Reading Research Papers 중 Reading Research Papers 관련 내용만 짧게 정리해보았다.

1. 읽을 논문의 목록을 정리하자

: 읽어볼 논문을 리스트로 작성해두자. 기록이 뭐든 첫 번째 답이다.

2. 리스트를 정리하자.

: 기본적으로 한 번에 한 개 이상의 논문을 봐야 한다. (병렬적으로 봐야함)
그렇기 때문에 자세히 읽을 것과 아닌 것을 선택하고 구분해야 한다. 아마 당신은 논문의 10~20%를 읽을 것이고 어느 정도 높은 수준으로 이해한 후, 자세히 읽을 것과 아닌 것을 정할 수 있을 것이다.

• 5~20개 읽어봄: ML, DL에 적용할 지식은 갖췄지만 최신 기술을 이해하기는 부족하다.
• 50~100개 읽어봄: 해당 분야에 대해 자세히 알고 있다.
  고 정리한 앤드류응 교수님의 가이드라인.

<논문을 어떻게 읽어야 하는가?>

1. 논문 title, abstract, figures를 먼저 보라.

: 논문의 제목과 초록, 핵심 구조 그림, 실험 연구 부분을 읽고 나면 논문의 기본적인 컨셉과 아이디어를 알 수 있을 것이다. 특히 딥러닝 계열의 논문을 한두 개의 도표로 여러 논문을 정리해놓기 때문에 꼭 먼저 살펴보자.

2. Introduction, Conclusion, Figures를 읽고 필요 없는 부분은 생략하라.

: 도입과 결론, 초록에는 논문의 저자가 신중하게 요약해놓은 내용을 볼 수 있다.

3. 수식은 과감하게 생략하라.

4. 이해가 안 되는 부분은 우선 생략하고 전체적으로 읽기

<논문을 읽은 뒤 질문에 답해보자.>

1. 저자가 무엇을 해내려 했는가?

2. 이 연구의 접근에서 중요한 요소는 무엇인가?

3. 당신은 스스로 이 논문을 이용할 수 있는가?

4. 당신이 참고하고 싶은 다른 레퍼런스는 어떤 것이 있는가?

<논문을 어디서 읽어야 할지>

핵심 논문들을 정리하는 블로그들도 많고, SoTA를 사용하기도 한다. (https://paperswithcode.com/area/computer-vision)
1. 트위터
2. ML subreddit (https://www.reddit.com/r/MachineLearning/)
3. ML/DL Conference: NIPS/ICML/ICLR
4. 각종 커뮤니티 or 그룹

Other Tips

• 수식 이해: 밑바닥부터 직접 계산해보자. 시간이 걸려도 좋은 연습이 될 것이다.
• 코드 구현 연습: 오픈 소스를 다운받아서 실행해보자. / 밑바닥부터 직접 구현해보자. 알고리즘을 직접적으로 이해해볼 수 있다.
• 벼락치기보다는 매주 2편의 논문을 읽는 것 같은 꾸준한 공부가 중요하다.