내가 이전에 개별연구를 진행했던 김창익 교수님 연구실에서, 출신 대학원생인 퀄컴 코리아 최석언 박사님의 초청 세미나를 진행한다는 소식이 학교 메일로 전해졌다. 마치 당시 개별연구의 사수 선배였던 형도 (강제적으로) 참석한다고도 하고, 간단히 들어보기만 했던 Domain shift problem을 주제로 강연을 한다길래 친구 한 명을 꼬셔서 데리고 갔다.
전자과 학부생과 대학원생들에게 뿌려진 메일이었기에 많은 사람들이 있을 줄 알았는데, 한 40명 남짓의 사람들이 자리를 메웠다. 학부생은 우리를 포함해 열 명도 채 안되는 것 같았다. 강의실에 도착하고서 알게 된 건데, 나, 개별연구 시절 최석언 박사님과 같이 풋살해본 적도 있었다(!) 저분은 나를 기억하진 못하실 테지만..
주변에 대학원생 분들만 앉아있어 세미나 내용이 너무 어렵진 않을까하는 우려완 달리, 꽤나 흥미롭고 유익했다. 내용을 간략히 정리하자면 다음과 같다.
Topic: Solving the Domain Shift Problem in Deep Learning
Dataset의 distribution에 대한 shift는 1) label은 동일하지만 dataset의 environmental feature가 다른 경우의 covariate (domain) shift와 2) 동일한 environmental feature를 갖지만 training set과는 다른 label이 있는 경우의 semantic (label) shift로 나뉨. 본 세미나에서는 covariate shift만을 다룰 예정.
일반적인 DNN은 training set과 test set의 distribution이 동일하다는 가정 하에서 높은 성능을 보이나, out-of-distribution data에 대해선 성능이 크게 하락함. 다양한 dataset에 대한 generalization이 필요.
그에 대한 issue들을 정리해보면 아래와 같다.
1. '그만큼의 diverse한 data를 모아서 학습시키면 되지 않는가?'
: 현업에서는 labeling cost/time을 고려해야 함. 현실적으로 불가능.
2. Unknown possible domains에 대한 infeasible issue
: ex. 미래자동차에 대한 이미지 데이터 부족
3. Negative transfer issue
: 여러 domain의 dataset에 대해 학습시키면 기존의 domain에 대한 네트워크의 성능이 되려 하락함.
Domain shift는 또다시 임의의 domain에 대한 성능을 향상시키는 domain generalization과, target data가 주어지는 domain adaptation으로 나뉨. 아래는 최석언 박사님의 세 논문에 대한 개념.
Cross-Domain Retrieval (CVPR'20)
Person re-identification (서로 다른 카메라에서 찍힌 동일인물을 감지하는 task)에 관한 논문.
Poor illumination condition에서는 IR camera를 활용하는데, 이 때 RGB-IR 간의 domain gap이 발생. 기존엔 이를 위해 feature/image alignment method가 많이 사용되었으나, 정확도가 떨어짐.
Disentanglement representation learning을 활용!
인물의 뼈대(?)에 해당하는 prototype과 그 이외의 style을 구성하는 attribute를 서로 구분해 두 network를 병렬적으로 사용. ID와 관련없는 요소(pose, illumination 등)들을 분리하는 것에 중점을 둚.
Domain Generalization (CVPR'21)
앞서 다룬 person re-identification에 대해, meta-learning을 통해 domain generalization 성능을 끌어올린 논문.
(Meta-learning에 대해 잘 몰라 정확히 이해하진 못했다.)
기존엔 instance normalization으로 style 요소를 제거하였지만, 본 논문에선 meta-learning framework를 활용해 domain gap을 줄이는 instance normalization과 discriminality에 관여하는 batch normalization 간의 balancing parameter를 구해 더 높은 정확도를 이끌어냄.
Test-Time Training / Adaptation (CVPR'21)
Test-time training이란, 네트워크가 inference를 수행하며 그 결과를 다시 input에 넣어 training을 동시에 수행하는 것. Test-time adaptation도 같은 맥락.
Source data를 transform하여 각각 classifier network에 돌렸을 때 각 layer별로 gradient가 다른데, 이들의 cosine similarity를 계산하여 네트워크 상에서 민감하게 다뤄지는 부분을 탐색함.
그 결과, learning rate가 크더라도 성능이 꾸준히 향상되는 결과를 보임.
Future Direction
-
Random convolutions can be used as data augmentation
: Randomly initialized되는 convolution filter를 가지고 가벼우면서 유용한 augmentation을 수행할 수 있음. -
Correlation shift
: 새 주변의 나무, 돌고래 주변의 물과 같은 주변 배경과 관계없이 classification이 가능하도록 네트워크를 학습시키는 분야. -
Federated domain generalization
: 각 client마다 사용할 수 있도록 가져오는 dataset의 domain이 다른 환경에 대한 generalization 연구 분야.
나름 집중해서 최대한 이해해보려 노력했는데, 절반 정도만 고개를 끄덕이며 들은 것 같다. 그래도 이번 세미나 덕분에 domain shift라는 분야에 대한 대강의 감은 잡은 것 같다. 이렇게 유익한 기회를 잡는 학부생이 이렇게나 없다니!
제 발표를 잘 들어주셔서 감사합니다 :) 참고로 저 future direction 중 하나가 이번 CVPR23에서 발표될 예정이니 또 관심 가져주세요 ㅎㅎ