InfoNCE (Information Noise-Contrastive Estimation)

• InfoNCE (Information Noise-Contrastive Estimation) 손실은 대조 학습(contrastive learning)에서 널리 사용되는 손실 함수
• 비지도 학습 방식에서 데이터의 유용한 표현을 학습하기 위해 설계
• InfoNCE 손실은 양의 쌍(positive pairs) 간의 유사도를 최대화하고, 음의 쌍(negative pairs) 간의 유사도를 최소화함으로써 작동
• 이 손실 함수는 특히 시간적으로 연속적인 데이터나 유사한 컨텍스트를 공유하는 데이터 포인트 간의 관계를 학습하는 데 유용

InfoNCE 손실 함수

작동 원리

• 분모에서는 모든 음의 예시들에 대한 유사도 점수의 합이 사용되어, 앵커 포인트가 양의 예시에 비해 음의 예시들과 얼마나 덜 유사한지를 측정합니다.

목적

• InfoNCE 손실의 주요 목적은 고차원 데이터에서 유용한 특징을 추출하여, 이를 기반으로 데이터 포인트들 사이의 의미 있는 관계를 학습하는 것입니다.