들어가며

Velog에 결산과 계획을 쓰는 건 3년차가 되었다.

• 2020년 결산 및 2021년 계획
• 2019년 결산 및 2020년 계획

뭔가 올해 들어서는 유독 SNS에 회고록이 많이 보이는 거 같은데 트렌드가 변한걸까? 아니면 이제 주변 사람들의 나이대가... 앗... 아아... 🤣

하지만 언제나 과거와 현재를 평가하고 미래를 계획하는 건 좋은 일인 것 같다.

2021년 결산

총평

안타깝게도 연구와 커리어에서 가시적인 발전이 없는 한 해였다. 작년과 다른 건 연어 파피요트를 만들 수 있게 된 나 🤗 왜때문에 그런 일이 일어났는지는 마지막까지 한번 적어보고 다시 생각해보려한다.

[ ] 탑티어(ICCV, NIPS, CVPR, ICLR, ICML) 1저자 페이퍼 Submission
[ ] 텝스 450점
[x] 나만의 시그니쳐 요리 만들기

부지런한 J과 게으른 J, 그 사이 어딘가...

내 MBTI는 ENFJ	근데 이제 게으른...

1 ~ 4월

Alterengo 정리

한 1월 정도까지 함께 하다가 주간 미팅도 시작되어서 정리하게 되었다. 주간 미팅이 조금 익숙해지면 다시 할 수도 있지 않을까... 생각했는데 역시 그렇지 않은 거 같다. 이미 개발은 퇴물이 된 걸 인정하고 연구에서 열심히 커리어를 쌓아야할 것 같다.

아래 그림은 데이터 관리를 위한 툴을 만든 것의 일부...지만 사실 제대로 마무리를 못 하고 나와서 결국 다시 만들어야했다고 한다.

Alterengo Admin Old, 조악한 장난감

Deep 3D Portrait 재현

올해는 삼성 리서치에 Synthetic Image라는 주제로 펀딩을 받으며 연구를 진행했으며 아래와 같은 목표를 가지고 있었다.

• 자세 조정 가능
• 표정 조정 가능
• 조명 조정 가능
• Parametric하게 조정 가능 : 보통 다른 비디오를 받아서 따라가는 것만 가능한데 고개를 조금도 오른쪽으로 돌리거나, 인위적으로 웃거나 울게 할 수 있어야한다는 뜻
• 실시간으로 조정 가능

Deep3DPortrait은 우리 분야(Computer Vision)에서 연구되는 GAN뿐 아니라 Graphics 분야에서 사용되는 3DMM까지 이용한 Hybrid Approach로 위의 조건들을 만족하기 위한 baseline이 될 수 있다고 생각했다. CVPR 2020에 게재되었으며 코드가 있어서 쉽게 재현하고 우리가 이런저런 개선을 하는게 목표였다.

스페이스X 폭발후 일론 머스크의 반응... - 나몰라 패밀리 핫쇼(Youtube)

위와 같이 딥페이크 등에도 응용될 수 있는 기술이기 때문에 흥미롭게 구현을 시작했는데... 2월에 시작한 재현이 4~5월까지 계속되었던 것 같다.

• 문제 1. 코드가 1/3만 공개되어 있음
• 문제 2. Graphics 지식이 대단히 부족했음
• 문제 3. 문제 1에서 느꼈어야했지만 생각보다 성능이 좋지 않았고... 삼성에서 제시되었던 목표가 생각보다 어려운 목표였다는 걸 깨닫게 됨.
• 문제 4. pipeline이 너무 복잡하고 각각의 단계에서 생기는 제약조건들이 많았음. 왜 근래에 implicit representation이 각광받는지 알 수 있었음

뭐... 그래도 팔자에 없는 줄 알았던 Graphics 공부도 열심히 해서 여러모로 많이 배우게 된 것 같다. 나중에 3DMM이나 Differentiable Rendering 관련 정리글을 써보는 것도 좋을 것 같다.

3DMM이란 이런 것이다, 완전 3D Mesh로 자세, 표정, 조명 등을 바꿀 수 있지만 사람이 보기에 현실적이지 않다

Discrete Differentiable Geometry 스터디

삼성 과제를 함께하는 팀원들(수빈, 윤준)과 함께 CMU의 Kenan Careen이 진행하는 Discrete Differentiable Geometry 수업을 들었다. 끝까지 듣지는 못 했지만 Graphics를 공부하는데 필요했던 수학적 지식들을 꽤 많이 채워넣을 수 있었다.

그 뒤로 종종 논문에서 이 수업에서 들은 개념과 방법론들이 나오는 걸 발견할 수 있었는데 해외의 훌륭한 연구자들은 이런 수업을 기본으로 듣는건가...하는 생각이 들었다.

수업의 표지

5 ~ 7월

Animal Face Reenactment Part 1

이 즈음 수빈이가 개인 연구 주제로, 그리고 삼성에서 새로운 기술 개념 증명(PoC)을 요구한 것도 있어서 Animal Face Reenactment라는 주제를 제시했다.

우리의 목표 : 동물 사진을 마음대로 움직이기

이를 효림이형이 발표했던 Interaction Information Auto Encoder - NIPS 2020나 Few-shot Image Generation via Cross-domain Correspondence - CVPR 2021과 같은 Cross-Domain Shared Representation을 학습 시키는 방향으로 가면 어떨까? 하는 생각이 들었다.

그래서 위에 언급된 논문들과 StarGAN v2 - CVPR 2020, TransGaGa - CVPR 2019 등을 재현하고 baseline으로 사용하려 했으나 잘 되지 않았다.

중간에 Pareidolia Face Reenactment - CVPR 2021과 같은 단순 Motion 기반 연구들도 시도해봤는데 약간 불쾌함의 골짜기 같은 결과만 나와서 역시 실패했다.

라디오든 뭐든 이렇게 Reenactment 할 수 있다	근데 고양이는 티가 안 난다

NTIRE 2021 참가

그래도 뭔가 Super Resolution 공부를 오래 했는데 워크샵이라도 1저자 논문을 내고 싶어서 영현이형의 권유에 따라서 Learning the Super-Resolution Space Challenge - NTIRE 2021 at CVPR에 참가했다. Super Resolution은 저화질의 영상을 고화질로 만드는 문제를 푸는데 거기서의 문제는 사실 하나의 저화질 영상에 여러 고화질 영상 후보가 있을 수 있다는 것이다.

저런 저화질 이미지는 진짜가 뭔지 알 수가 없다

효림이형과 이야기하다가 StyleGAN의 Noise Injection을 이용해서 Diverse SR을 하는 건 어떨까... 싶어서 진행해봤는데 좋은 결과가 나오지도 않았고 Method 디자인도 이상했던 것 같다. 그래도 영현이형의 결과가 잘 나와서 논문 작성에 참여해서 이름을 올렸다.

작년에 이어 올해도 영현이형의 워크샵 논문 2저자로 참가했는데 두 가지 생각이 든다

• 뭔가 꿀 빨며 2저자에 이름을 올리는 것 같다...
• 그래도 이렇게 논문 작성에 참여하면서 배우는 게 맞지...

나도 나중에 이런 식으로 후배에게 성장할 기회를 줄 수 있는 선배가 되고 싶다는 생각을 많이 했다.

그리고 워크샵 준비 과정에서 나만의 딥러닝 코드 베이스를 만들 수 있었어서 버리는 시간은 아니었던 것 같다. 결국 컴퓨터과학 박사 과정 끝에 내가 남길 수 있는 유형의 것은 논문, 학위와 그 것들을 해내기 위해 좌충우돌 하는 과정에서 만든 코드 베이스가 아닐까?

이렇게 또 기여가 부족한 2저자 논문이 하나...

여담

이 당시에 날씨가 한참 좋아서 동영, 수빈, 유민과 함께 종종 러닝을 했다. 한강이나 경복궁을 달리는 인싸 러닝 크루들을 보며 신기했는데 생각보다 훨씬 더 재미있었다. 내가 좀 낯을 덜 가렸다면 러닝 크루 들어가서 뛰는 것도 재밌었을 거 같다.

8 ~ 12월

Animal Face Reenactment Part 2

내 연구가 대단히 지지부진하자 교수님께서 성현이형과도 함께 이야기해보는 게 좋겠다는 이야기를 해주셨다.

그래서 그 뒤로는 수빈이가 추천해준 Continuous Surface Embedding - NIPS 2020를 이용해서 해보면 어떨까...하다가 StyleGAN에서 Latent Space Exploration을 해보면 어떨까...하다가 결국 결과가 다 잘 안 나왔는데 컨퍼런스 논문 하나에서 해결할 수 있는 볼륨이 아니라는 이야기를 하고 문제 범위를 조금 좁히기로 했다.

그래도...참 올해 열심히 살았다...

Samsung Emergency

무난무난하게 끝나리라고 생각했던 과제에서 생각보다 수치를 맞추기가 어려웠다.

다음부터는 꼭 아래와 같이 해야겠다고 생각했다.

• 과제 조사할 때 Prototype을 좀 많이 돌려봐서 어디까지 되고 어디까지 안 될 거 같은지 협약서에 최소한으로 기재하기
• 과제 초반에 미리 수치 맞춰놓고 시작하기

한 달 정도 수빈이와 함께 날밤을 깠는데 수빈이는 메타 면접 준비 때문에 영양주사를 맞아가며 일을 했다. 물론 이 경험에서 많이 배우긴 했지만... 좀더 유의미한 과제 진행을 위해서라도 위의 사항들을 잘 지키는 게 수명을 좀 덜 깍을 수 있는 방법일 것 같다...

Interspecies Face Semantic Matching

Under Research... 우선은 ECCV를 목표로 달리는 중이다.

대규도 함께 참가하기 시작해서 Sejong, Subin, Seonghyeon, Seon Joo의 S돌림은 깨질 것 같다. 모쪼록 이 Project는 무사히 게재될 수 있길...

여담

이 시기에 Editable & Generalized NeRF를 만들려던 수빈이의 Project에 애매하게 발을 걸치고 있었다. 돌이켜 생각해보면 할거라면 좀더 적극적으로 돕던지 아예 손을 떼던지 했어야했던 것 같다. 연구 외적으로도 그렇지만 내적으로도 선택과 집중이 필요한 것 같다.

그리고 인스타그램에 그림일기를 좀 올렸다. 앞으로도 종종 심심하면 올릴 거긴한데 현재 진행 중인 프로젝트가 끝나야 좀 심심해지지 않을까... 생각보다 지인들이 많이 보는 거 같다.

지인들에게 적극적으로 홍보하지 않는 나름 비밀 계정이다

2022년 계획

대충 적어놓고 보니까 왜 올해 블로그 글도 별로 없었는지 알 거 같다. 바쁘게 열심히 살긴했다. 그 과정에서 많은 고민과 배움도 있었다. 그렇지만 역시 내년에는 결과도 좋았으면 좋겠다.

• 탑티어(ICCV, NIPS, CVPR, ICLR, ICML) 1저자 페이퍼 Submission
• 텝스 450점
• 인턴 혹은 펠로우십