들어가며

한번쓰다가 전부 날려버려서 조금 텐션이 떨어졌지만... 그것도 나쁘지 않을지도?!
결산과 계획 시리즈는 블로그에서 가장 잘 팔리는 글 중 하나인 것 같으니 전통을 이어나가야지...
심심해서 다른 글들의 통계도 쭉 눌러봤는데 가장 잘 팔리는 글들... 온 김에 이것도 보고가 ~.~

• The Lottery Ticket Hypothesis와 그 후속 연구들 리뷰
• 프리랜싱, 스타트업, 중견기업, 대기업 그리고 대학원
• 20억원 상당의 연구실 GPU Cluster 유지보수 하기

2023년 돌아보기

계획을 달성했는가?

전반적으로 계획은 다 망했지만... 그런게 인생이 아닐까?!

-[ ] ICCV 제출 : 망함... 이 시기에는 열심히 THMM-DiT: Talking Head Motion Modeling with Diffusion Transformer를 하고 있었다. Technical Report로 잠들어버림...
-[ ] CVPR 제출 : 인턴십 기간에는 Generating Paired Data beyond Human Face by Diffusion Feature-based Filter를 진행했으나 미국 특허 출원만 진행중이고 논문으로써는 망함...
-[ ] 조주사 자격증 따기 : 현생에 치여서 까먹음
-[ ] 태권도 시범단 공연 하기 : 태권도장은 다녔으나 현생에 치여서 실패!
-[ ] 2024년 바디 프로필 준비를 위해 유의미한 인바디 결과 개선 : 오히려 인생 최대 몸무게를 찍었고 내년에 20kg 빼야함...
-[ ] 내 연구와 관련된 기술을 현실에 사용해보기 : 창업이나 솔루션 형태로 팔고 싶었는데 전문연은 제약이 많다...
-[v] 진로 고민의 큰 틀을 해소하기 : 인턴십도 갔다오고, 군사훈련도 갔다오면서 생각할 시간이 많았음.

1월 ~ 4월

어도비와 콜라보 연구

연구실 선배인 승욱이형, 인턴십 멘토인 Yang Zhou와 콜라보를 함께 진행했다. 사람의 Speech가 들어오면 3D Model이나 Landmark의 Sequence를 만들어서 Motion Modeling을 하는 게 목표였다. 좋았던 점은 디퓨전 모델을 스스로 씹뜯맞즐 하면서 디퓨전 모델 감수성이 올라갔다는 점. 아쉬웠던 점은 데이터의 한계를 너무 늦게 깨달았다는 점. THMM-DiT: Talking Head Motion Modeling with Diffusion Transformer이라는 Technical Report로 정리하고 잠시 묵혀두기로 했다.

두 멘토의 조언으로 작성해본 Technical Report

기초부터 대학원 수학까지 복습

UC Santa Barbara에서 수학과의 조건희 교수님께서 운영하는 수학의 즐거움이라는 채널에는 '기초부터 대학원 수학까지 시리즈'라는 영상들이 쭉 있다. 예전에 한번 쭉 본적이 있고, 이번에는 내가 직접 써볼 수 있도록 노력했는데 쉽지 않았다. 그래서 스터디도 참여해봤는데 얻은 결론은 직접 쓰는 수준까지 가려면 2~3년은 투자하는게 결국 맞는 거 같다. 문제는 내가 하고 싶은 연구 방향에서 '쓰는 능력'을 활용하려면 훨씬 더 많은 노력이 필요할 것 같다는 것. 그래서 논문을 읽을 때 좀더 수학적 문해력이 있는 상태로 즐길 수 있게 되었다는 점에 만족하고 주기적으로 복습을 하기로 했다.

수학의 즐거움 채널, 기초부터 대학원 시리즈

유투브에 현재의 AI 기술이 적용 가능할까?

이 때쯤 디퓨전 관련으로 커피챗을 했던 민기, 그리고 민기의 연구실 후배인 재석을 만나서 Lip-sync 기술 같은 게 유투브에 실제로 적용이 될 수 있을지 논의하고 시도해보기 시작했다. 실제로 민기는 구독자가 10만명이 넘는 베리타세움 한국어 채널을 운영하고 있어서 테스트 베드도 있는 좋은 상황이었으나... 현재의 기술을 직접적으로 적용해서는 결과가 좋지 않다는 사실을 알게 되었다.

내가 즐겨보던 영상의 채널주가 옆건물의 대학원생?!

태권도

새로운 운동도 하고 싶고 분위기를 환기하고 싶어서 2023년 4분기부터 태권도를 다니고 있었다. 오랜만에 품새, 겨루기, 시범단 발차기, 위력격파 등을 하니까 신나고 재미있었다. 시범도 제대로 연습해서 공연도 나가고 싶었는데 몸무게가 많이 올라서(5년간 거의 15kg 찜) 부상 위험도 크고... 현생에 치이느라 약간 흐지부지 되어버렸다. 그래도 오랜만에 품새 대회나 위력 격파 대회도 나가면서 재밌게 즐길 수 있었다.

어무이가 기겁하신 꿀잼 벽돌 위력 격파 (오른쪽이 나)

연구실의 다양한 세미나들

석준이의 Diffusion Study, 미란누나 주관의 Open-Vocab 세미나, 교수님의 빅피쳐인 Yonsei-Vision Group 등등 연구실에서 다양한 주제로 다양한 그룹의 세미나가 자율적으로 운영되고 있다. 사실 모든 중요한 주제를 나 혼자서 공부하고 익히는 건 너무 어려운 일이다. 이래서 연구실에서 다들 모여서 연구를 하는 게 아닐까?

5월 ~ 8월

어도비 인턴십

CV를 마구 살포하다가 우연히 Yang Zhou와 면접을 보게 되었다. 2022년에 쓴 논문의 주제가 흥미로웠던 모양이다. 마침 연구실 선배인 승욱이형이 레퍼쳌까지 해줄 수 있었기에 인턴십 TO를 받을 수 있었다. 인턴십을 가서 만난 사람들의 스펙을 생각해볼때 굉장히 많은 우연이 있어서 가능했던 일인 것 같다. 많은 것들을 배웠고 그래서 이런 후기를 썼다. 덕분에 2023년에는 내 향후 진로에 대한 고민을 좀더 새로운 차원에서 할 수 있었다. Generating Paired Data beyond Human Face by Diffusion Feature-based Filter라는 내용으로 미국 특허를 신청하고 있는데... 흠 논문으로 살리기도 어려울 것 같다. 하지만 이번에도 역시 생성 모델 관련 지식은 많이 쌓인 것 같다. 이렇게 쌓아가다 보면 뭐라도 되겠지... 아래는 당시의 내 캘린더를 보면서 드는 몇 가지 생각들.

인턴십 중 주말에는 여행을 정말 많이 다녔다. 몇 시간만 차를 몰면 펼쳐지는 다양한 기후와 식생, 압도적인 자연 경관들, 잘 관리되어 있는 주립/국립공원들 덕분에 그럴 맛이 났다. 다른 도시들(샌프란시스코, 시애틀, LA, 베가스 등)도 각각의 매력을 가지고 있었다. 확실히 대국이라는 느낌이 났다.

이번에 유독 한국인 인턴이 많았던 것 같다. Research Scientist Intern이 200명쯤 된다고 하면 그 중 15명 정도가 한국인이었다. 덕분에 한국어 스트레스도 많이 풀고 더 자신있게 다양한 인턴들과 스몰톡을 할 수 있었던 것 같다.

어도비뿐 아니라 메타, 아마존, 구글 등에 있는 다른 인턴이나 풀타임 연구자들과도 교류할 기회가 있었다. 좋은 통찰력을 가진 사람들과 이야기할 기회도 많고 아이디어가 떠올랐을 때 이를 실행시킬 수 있는 자원도 있다. 괜히 미국에 있는 연구자들의 성장이 빠른 게 아니라는 생각이 들었다.

9월 ~ 12월

어도비와 콜라보 연구

인턴십 프로젝트의 수치적 성과는 애매했지만... 인연을 끊을정도는 아니었던 것 같다. Yang Zhou와 승욱이형 둘 모두 내가 하고 있는 것과 비슷한 연구를 이어 가고 싶은지 콜라보를 계속하고 있다. 교수님께서도 좋게 생각하시는 것 같다. 이번에는 PerceiverIO라는 모델의 특성을 활용해서 multi-modal, multi-task를 잘 처리하는 talking head generation 모델을 연구하고 있다. ECCV에 무사히 나갈 수 있으면 좋겠다.

LG전자 산학장학생 지원

연구실로 타겟랩 설명회를 온 걸 듣고, 저번에 삼성 종합기술원(SAIT) 대여장학생 신청을 안 했다가 후회한 게 떠올라서 지원했다. 코딩테스트와 1,2차 면접을 거쳐서 피를 뽑게 되었지만 아직 최종 합격은 아닌데... 관련 후기는 나중에 결과도 나오고 시간도 나면 작성해보려고 한다.

전문연구요원 군사훈련

이런 글을 썼다. 덕분에 생각할 시간이 많았다.

다들 미군 같다고 했던... 그 사진

전반적인 정리

적어도 작년에 목표로 했던 커리어와 취미의 조화를 해내기는 했다. 물론 논문 농사가 좀 망하긴 했지만... 각각의 프로젝트에서 배운 것도 있었던만큼 무의미하게 시간을 흘려보내지는 않았다고 생각한다. 아직 나는 내가 어떤 결의 연구를 하고 싶은지 열심히 고민하고 찾아나가는 단계인 것 같다. 그리고 그런 연구를 하려면 어떤 식으로 연구해야하는지도! 교수님 덕분에 나에겐 아무도 연구를 더 빨리 하라고 다그치지 않으니 차분하게 고민해서 좋은 박사가 되고 싶다.

2024년 목표

그래서 올해도 당당하게 어려운 목표들을 세운다. 올 한해 가시적인 성과는 없었던만큼 2023년에 쌓아둔 것들을 수치로 변환할 수 있는 한해가 되면 좋겠다.

• ECCV 제출
• NeurIPS 제출
• CVPR 제출
• 피아노 곡 3개 '완성' 하기
• 현재 내 키에 이상적인 체중인 78kg 달성