Contrastive Learning 설명

Contrastive Learning

• 레이블(=정답)이 없는 데이터셋의 일반적인 특징을 배우는 머신러닝 테크닉
• 주어진 데이터들의 어느 부분이 "유사"한지 혹은 "다른"지를 학습
  • 데이터가 갖고 있는 고차원의 특징을 배움
• 이 방식이 강력한 이유는 학습 데이터에 정답(label, annotation)이 없더라도 데이터를 통해 알아서 학습 가능한 self-supervised learning이기 때문
  • 세상에 존재하는 데이터들 중에는 정답이 없는 데이터가 비일비재한데, 사람이 모든 데이터에 일일이 정답을 달아주고 해당 데이터를 통해 모델을 학습하면 모델의 성능은 좋아질 수 있지만, 이로 인해 수반되는 비용이 거대
  • 이 때문에 비지도학습에 대한 니즈가 존재

SimCLRv2

• Google Brain Team이 제안, SOTA Contrastive Learning 방법 중 하나
• 이미지 데이터를 자르거나, 색을 바꾸거나, 사이즈를 조정하는 등의 작업을 통해 데이터를 증강(augmentation)
• 동일한 이미지를 기반으로 생성된 데이터들이 "유사"하다는 사실을 모델에 학습
  • 학습은 딥러닝 모델이 유사한 이미지에 대해 유사한 vector representation을 만들어내는 방식을 이용
• 학습 시에 contrastive loss function을 최소화, 유사한 이미지들의 벡터 representation의 유사도를 최대화 (cosine similarity)

관련 링크 (link)