Pretext Learning – Representation Learning Driven by Task Design

Definition of Pretext Learning

잘 정리된 representation, 유용한 정보를 만들기 위한 학습 Task로, 학습시킨 네트워크에서 유용한 representation을 찾는 것이 목표이다(특히 Self-supervised Learning에서, 자세한 내용은 앞 14. 비지도학습 Representation과 딥러닝 참고).

Variational Mutual Informartion Estimation

• mutual information의 컨셉: 어떻게 하면 여기있는 이 variable과 저 variable 사이에 공유하는 정보의 양이 얼마 인큼인지를 숫자로 계산 할 수 있을까에 대한 것

Contrastive Learning

• Constrative predictive coding(cpc)
• Multiview Coding :
  같은 콘셉트라면 어느 방향에서 찍은 작은 사진이어도 결국은 같은 정보를 담고 있다.
  따라서 해당 사진을 뉴럴 네트워크를 통과시켜서 정보를 정리한 ativation 백터가 비슷하게 생겨야 한다.
• SimCLR: 제한된 조건 안에서 만든 문제에서는 엄청난 좋은 성과를 내는 결과를 만듬

Key Concepts

• Self-Supervised Learning: unsupervised data set이지만 적당히 레이블이 붙은 것처럼 보이게 하는 것

Instance discrimination

개별적 이미지(an instance)를 각각 하나의 class로 정의

• An instance -> multiple augmentations
• Positive pair vs. negative pair
• Contrastive loss (InfoNCE loss)