Putting An End to End-to-End: Gradient-Isolated Learning of Representation 논문 정리

처음 접해보는 분야이긴하나 논문 스터디에서 다른 발표자분이 선택하신 논문이라 읽어보게 되었다.

0. Abstract

이 논문은 label이나 end to end 역전파가 필요하지 않고, 데이터의 natural order를 이용하는 local self-supervised representation learning을 제안한다. biological neural networks이 글로벌 에러 신호를 역전파하지 않고 학습하는 것에서 영감을 받아, (Representation Learning with Contrastive Predictive Coding 논문을 의미하는 것 같다.) deep neural network를 gradient-isolated 모듈 스택으로 분할하였다. 각 모듈은 Oord등의 infoNCE를 사용하여 입력 정보를 최대한 보존하도록 훈련되었다. 이런 탐욕스러운 훈련에도 불구하고, 이 논문에서는 각 모듈이 이전 모델의 출력을 향상시키고, 최상위 모듈에 의해 생성된 표현이 시청각 영역에서 downstream 분류 작업에 대해 매우 경쟁력 있는 결과를 보여준다. 논문 저자는 모듈을 비동기식으로 최적화 할 수 있으므로 label이 지정되지 않은 dataset(unlabelled datasets)에 대한 심층 신경망 대규모 분산 교육이 가능하다고 제안한다.

1. Introduction

Reference

https://arxiv.org/abs/1807.03748

아직!

아악 잘 이해가 되지 않아 슬펐는데 교수님께서 학부생이 이해하기 어려운 논문이라고 말씀해주셨다 갬덩
추후에 정리예정