들어가며

작년에는 2019년 결산 및 2020년 계획을 했다. 그런데 노션에서 혼자 쓴 글을 거의 가져온 수준이었고 올해는 Private과 Public을 분리하려고 한다. 여기에 쓰는 것은 Public 버전이다.

2020년 결산

총평

본격적으로 연구에 집중하기 시작하고 나름대로 성장하고 있는 것 같다.

• 5개의 연구, 2개의 경쟁을 진행했다.
• 탑티어 워크샵 페이퍼에 하나 참가했다.
• 탑티어 페이퍼에 3저자로 참가했다.
• 3개의 연구는 PPT에 그대로 잠들어 있다.
• 2개의 경쟁은 참가비 정도 벌고 수상은 못 했다.
• 작년에 세웠던 목표를 한 50% 정도 달성했다.

1월 ~ 2월

2019년까지의 나는 여러 일들을 동시에 진행하고 있었다. 하지만 그렇게 6개월을 보내고 연구도 개발도 제대로 못하는 상황이 되어서 이를 정리하고 연구에 집중하기로 결정했다.

블람미디어 창업 정리

아티스트와 음악을 이용한 창업이었다. 대표인 승재형의 능력이 좋아서 문화관광사업부에서 창업 지원도 받았지만 제대로 된 제품 출시를 실패하고 현재 회사만 남아있는 상태.

코드잇 강의 진행하려다 스탑

재하의 소개로 코드잇에서 강의를 하려다가 시간투자를 못 할 것 같아서 스탑했다. 대표님과 만나봤는데 나랑 같은 나이인데도 훌륭하게 스타트업을 이끌고 있는 게 대단했다. 겸사겸사 을지로 위워크도 구경할 수 있었다.

Neural Architecture Search 공부

NAS에 큰 관심이 생겨서 본격적으로 공부를 시작했다. 사실 한 분야를 이렇게 깊게 공부한 건 이게 처음이었다. 공부를 하며 한분야 공부하기만 해도 힘든데 2019년 2학기의 나는 너무 큰 꿈을 꾸고 있었다는 생각이 들었다. 관련해서 연구실에서 정부과제 스타랩 제안서를 쓰는데 리딩을 했다.

여담

이런 결심을 하고 지속할 수 있었던 건 전전 직장동료인 Andrew 용준 공의 영향이 컸던 것 같다. 그 이전까지의 나는 너무 다양한 분야를 얕게 파고 있었다. Andrew는 여러 가지를 한꺼번에 잘하고 있는 것처럼 보이는 사람들은 결국 하나의 깊은 구멍을 옆으로 잘 늘린 거라고 설명해주었다.

복식부기 가계부 서비스인 후잉을 사용하기 시작했다. 대학원생이라고 그저 미래 수익을 기대하는 것이 아니라 자산 관리를 시작해야할 필요성을 느꼈다.

3월 ~ 6월

이종석 교수님 수업

수업 중 이종석 교수님의 '기계학습과 패턴인식'이 많은 도움이 되었다. 혼자서 준비하기 힘든 컴퓨터 비전을 위한 수학적 기초들을 많이 다질 수 있었다. 요즘의 생각으로 결국 딥러닝은 '대단히 훌륭한 최적해 찾기 방법론'이라는 생각이 든다. 이 도구를 가지고 쓸만한 기술을 구현하려면 결국 이론적 기초, 도메인 지식, 구현 능력이 모두 있어야한다.

NTIRE Challenge 참가

4월쯤 영현이형의 CVPR 워크샵 논문에 참여했다. Perceptual Extreme Super Resolution이라는 주제였는데 화질을 16배로 만들면서 사람이 보기 좋게 하는 거였다. 이를 계기로 Super Resolution, Image Generation에 관심을 가지게 되었다.

Pruning for Super Resolution 연구

Neural Architecture Search는 연구실 레벨에서 진행하기 어려운 연구 같아서 Lightweight Modeling, 특히 Lottery Ticket Hypothesis에 관심을 가졌다. Network Pruning for Super-Resolution을 연구했다. 나중에 Lightweight Super-Resolution 워크샵에 참여했지만 좋은 결과를 얻지 못 했다. 그래도 처음으로 제대로 된 문제제기를 하고 이를 해결하기 위한 노력을 해보았다. 2개 정도의 슬라이드는 공유할만한 자료로 만들 수 있었다.

• PPTX: Single Image Super Resolution
• PPTX: Pruning neural networks without any data by iteratively conserving synaptic flow

멀티코어 및 GPU 프로그래밍 조교

이진호 교수님께서 진행하는 '멀티코어 및 GPU 프로그래밍' 수업에 조교로 참여했다.교수님께서 가능한 많은 일을 처리해주셔서 과제 준비에만 집중할 수 있었는데 강의평도 좋게 받아서 기분이 좋았다. 수업을 함께 준비하는 것 외에도 여러가지로 진로에 대한 고민도 나눌 수 있었는데 지도교수님이신 김선주 교수님이 학문적 아버지 같다면 이진호 교수님은 학문적 선배 같다는 느낌이었다. 이래저래 나는 인복이 많다는 생각이 들었다.

여담

• 건희형, 수빈, 윤준과 함께 MIT 길버트 스트랭의 선형대수 수업을 들었다. 함께 수업 듣고 과제, 시험까지 풀면서 오랜만에 중요한 내용들을 다시 새길 수 있었다.

• 연구실에서 어떤 과제를 리딩하게 되었다. 흥미롭긴한데 연구 결과 출판 등이 불가능해서 큰 흥미가 생기지 않았다. 이 이상은 보안 사항으로 읍읍읍.

7월 ~ 8월

NAVER AI Rush

Pruning for Super-Resolution에 한계를 느끼고 있던 도중 NAVER AI Rush에 참가했다. 1 ROUND를 23등으로 통과하고 2 ROUND로 진출해서 네이버에서 1달간 인턴으로 지내며 참가했다. AI Engineering도 쉽지 않다는 것을 느꼈고 아직 내가 문제해결력 자체도 부족했다는 것을 깨달았다. 주로 풀었던 문제는 네이버 스마트 스토어에 올라오는 스팸 리뷰 이미지를 필터링 하거나 카테고리 라벨링을 하는 것이었다. NSML이라는 훌륭한 시스템을 사용해보니 회사에 대한 열망도 어느 정도 생겼다.

9월 ~ 11월

3D Point Cloud 연구

인이형을 도와서 3D Point Cloud 쪽에 입문했다. 형의 세미나를 듣고 Point Sampling을 Pruning 관점에서 보면 어떨까 하는 생각이 들었기 때문이다. 하지만 승욱이형이 이 아이디어를 듣자마자 지적했듯이 결국 Network는 weight라는 절대적인 기준이 있는 반면 Point는 그렇지 못 하다는 것이 문제였다. 그런데 또 나중에 보니까 이걸 이미 잘 풀어놓은 논문이 ICLR 2020에 나왔었다. 아무튼 인이형을 도와 3저자로 CVPR paper submission을 위한 여러 실험들을 도와주었다.

Dacon Landmark Classification 경쟁

Dacon Landmark Classification에 참여했다. 순위권에는 들지 못 했지만 우수 코드 공유 이벤트에 당첨되어 상금을 받았다. 경과와 결과를 노션에 정리했다. 진행하면서 석준이와 얘기했는데 지금까지 내가 Image Classification과 같은 컴퓨터 비전 기초에 대해 너무 얕게 공부했다는 생각이 들었다. 그런데 뭐... 본격적으로 시작한지 1년만에 이정도면 훌륭하지 않나하는 합리화도 했다. 아무튼 앞으로는 좀더 깊게 공부를 해야할 것 같다.

Alterengo 서비스 개발 참가

1학년 때 PrismX라는 동아리를 함께 했던 주연누나, 재상이형, 신영누나, 그리고 준호형과 함께 Alterengo라는 서비스 제작에 참여하고 있다. 또 새로운 일을 벌이는가... 싶지만 일주일에 딱 하루만 모여서 집중하는 형태로 연구에 지장 없이 하고 있다...고 믿고 싶다.

여담

연구실에서 리딩 중인 어떤 과제가 연말에 좀 할게 많았다.

12월

4K Image Generation 연구

교수님과 면담을 하고 Lightweight Modeling이 Toolbox로는 좋은데 연구 하기 참 애매한 분야라는 이야기를 들었다.(사실 꽤 오래 이 말씀을 하시긴 하셨다.) 수빈이에게 4K Image Generation 이야기를 듣고 영업당해서 관심을 가지게 되었다. 열심히 공부하고 있다.

여담

홈페이지를 새로 만들었다.

건희형, 효림이형, 수빈, 윤준과 하버드 확률론 강의를 듣기 시작했다. 근래에 공부하기 시작한 VAE 등을 공부하는데 유용하게 사용될 지식들인 것 같다.

2021년 목표

[] 탑티어(ICCV, NIPS, CVPR, ICLR, ICML) 1저자 페이퍼 Submission
[] 텝스 450점
[] 나만의 시그니쳐 요리 만들기