Contrastive Learning (대조 학습)

Knowledge-enhanced recommendation에서 성능 향상이 입증되어 많이 사용한다. contrastive learning이 뭔지, 어떻게 사용하는지, 왜 사용하는지 알아보자.

++ knowledge graph self-supervised rationalization for recommendation 에서의 contrastive learning

• CL을 사용하되, rationale score를 기반으로 중요한 정보를 중심으로 augmentation을 진행하고 contrastive learning을 진행한다.

Contrasting Learning

• self-supervised learning의 한 종류, 가장 유망한 방식 중 하나
• representation learning

  • Representation Learning
    큰 이미지를 작은 벡터에 매핑하는 네트워크를 학습하여 데이터의 세부사항은 버리고, 보다 더 추상적인 특징에 초점을 맞추는 것.

(1) 유사한 양수 쌍 또는 샘플 표현 사이의 거리를 최소화
(2) 다른 음수쌍 또는 샘플의 표현 사이의 거리를 최대화

주석이나 레이블 없이도 유사한 값들은 가깝게, 상이한 값은 멀리 나타낼 수 있다.

• 특정 예측을 위해 모델을 최적화하기보다는, 표현 자체가 의미있는지 확인하는 작업
• 분류나 세분화와 같은 작업 수행 전에 데이터에 대한 상위 수준의 특징을 학습

Contrastive Loss

벡터 사이의 유사성을 정량화하는 방법

Applicatin of Contrastive Learning

1. Supervised Learning
2. Multimodal Representation Learning

References

1. https://89douner.tistory.com/334
2. https://www.blossominkyung.com/deeplearning/contrastive-learning