YOLOR: You Only Learn One Representation: Unified Network for Multiple Tasks 논문 리뷰

논문 링크: https://arxiv.org/pdf/2105.04206.pdf

0. Abstract

explicit knowledge와 implicit knowledge를 함께 사용하여 예측하는 모델을 제안했다.

사람들은 시각, 청각, 촉각 및 과거 경험을 통해 세상을 "Representaion"하게 된다. 인간은 정상적인 학습(명시적 지식)이나 무의식적인(암묵적 지식) 학습을 할 수 있는데, 이러한 풍부한 경험을 바탕으로 사전에 명시적으로 학습하지 않은 부분도 효과적으로 처리할 수 있게 된다. 예를 들어, 직접적으로 학습하지 않은 부분도 유추할 수 있는 것처럼 말이다.

이와 유사하게, 본 논문에서는 explicit knowledge와 implicit knowledge를 함께 인코딩하는 통합 네트워크를 제안한다. (통합 네트워크는 다양한 작업을 동시에 수행하기 위한 통합 표현을 생성할 수 있음) YOLOR은 컨볼루션 신경망에서 커널 공간 정렬, 예측 정제 및 다중 작업 학습을 수행할 수 있다고 한다.

결과적으로 implicit knowledge가 신경망에 도입될 때 모든 작업의 성능에 이점이 있었고, 제안된 통합 네트워크에서 학습한 implicit knowledge를 통해 다양한 작업의 물리적 의미를 파악하는 데 뛰어난 성능을 보인다고 한다.

기존 yolo와는 다른 네트워크 방식을 제안했다. 통합 네트워크를 사람처럼 두 가지 knowledge를 합치면, general representation을 갖고 있으면서도 다양한 task에 적합한 sub representation을 가능하게 한다는 그런 이야기. implicit 부분을 어떻게 학습시켰는지 코드로 봐야할 것 같다