[Paper Review] SimCSE: Contrastive Learning of Sentence Embeddings

📍 SimCSE: Contrastive Learning of Sentence Embeddings

https://aclanthology.org/2021.emnlp-main.552/

---

💡 Summary

• 최신 문장 임베딩 성능을 대폭 개선하는 SimCSE라는 단순한 대조 학습 프레임워크를 제시한다.
• 비지도 접근 방식 (Unsupervised Approach) : 입력 문장을 대조 학습 목표 내에서 자기 자신을 예측하도록 한다. 이때 표준 드롭아웃(standard dropout)만이 노이즈로 사용된다.
  이때, 드롭아웃은 최소한의 '데이터 증강'의 역할을 하며, 이를 제거하면 표현 붕괴( : representation collapse)가 발생한다는 것이 발견되었다.
• 지도 접근 방식 (Supervised Approach): 자연어 추론(NLI) 데이터셋의 주석이 달린 쌍을 대조 학습 프레임워크에 통합한다. "함의(entailment)" 쌍을 긍정(positives)으로, "모순(contradiction)" 쌍을 강한 부정(hard negatives)으로 사용한다.
  
  
• BERTbase 모델을 기반으로, SimCSE는 표준 의미적 텍스트 유사성(STS) 작업에서 평균 76.3% (비지도 방식), 81.6% (지도 방식)의 Spearman 상관 관계를 달성한다.
  → 이는 이전 최고 성능 대비 각각 4.2%와 2.2% 향상된 결과이다.
• 또한, 대조 학습 목표가 사전 학습된 임베딩의 이방성(anisotropic) 공간을 더 균일하게 정규화하며, 지도 신호가 있을 때는 긍정 쌍을 더 잘 정렬시킨다는 점을 보인다.

---

💡 Introduction

• 본 연구는 SimCSE가 BERT나 RoBERTa와 같은 사전 학습된 언어 모델과 결합될 때 매우 효과적일 수 있음을 입증하며 최신 문장 임베딩 방법을 발전시킨다.
  

• 비지도 SimCSE : 동일한 입력 문장을 사전 훈련된 인코더에 두 번 통과시켜 표준 드롭아웃 마스크를 다르게 적용함으로써 두 개의 다른 임베딩을 도출하고, 이를 긍정 쌍으로, 배치 내 다른 문장들을 부정 쌍으로 간주한다.

  ✏️ 드롭아웃 (dropout)
  : 과적합을 방지하기 위해 모델의 일부 뉴런 출력을 확률 $p$로 0으로 만드는 정규화 기법이다.
  
  예를 들어, 은닉 벡터 $h$ = [$ℎ_1, h_2, h_3, h_4$] 가 있을 때, dropout mask $z = [1,0,1,0]$ 가 샘플링되면 실제 출력은 $h ⊙ z = [h_1, 0, h_3, 0]$ 가 된다.
  
  이때 $z$를 드롭아웃 마스크라고 부른다.
  본 연구에서 드롭아웃은 은닉 표현 (hidden representations)에 대한 최소한의 "데이터 증강" 역할을 한다.

• 지도 SimCSE : NLI 데이터셋을 활용하여 수반 쌍을 긍정 인스턴스로, 모순 쌍을 어려운 부정 인스턴스로 사용한다.

  • 수반(entailment) 쌍은 긍정 인스턴스로, 모순(contradiction) 쌍은 어려운 부정 인스턴스로 추가할 때 성능이 더욱 향상된다.

• 비지도 SimCSE는 드롭아웃 노이즈를 통해 표현 공간의 균일성 (uniformity)을 향상시키며, 지도 SimCSE에서 사용한 NLI 훈련 신호는 긍정 쌍 간의 정렬을 더욱 개선한다.

---

💡 Background: Contrastive Learning

• 대조 학습은 의미론적으로 가까운 이웃은 끌어당기고 비이웃은 밀어내어 효과적인 표현을 학습하는 것을 목표로 한다.

• 배치 내 부정 쌍 (in-batch negatives)을 사용한 교차 엔트로피 목적 함수를 따르며, 코사인 유사도와 온도 하이퍼파라미터 (τ)를 사용한다.

• 긍정 쌍을 구성하기 위해 시각적인 표현에서는 주로 무작위 변환을 사용한다.
  그러나, NLP에서는 데이터의 이산적 특성(discrete nature) 때문에 데이터 증강이 어렵다.

  • 본 연구는 중간 표현에 표준 드롭아웃을 사용하는 것이 이산 연산자들보다 성능이 뛰어남을 발견하였다.

• 정렬(Alignment) 및 균일성(Uniformity) 은 표현 공간의 질을 평가하기 위한 지표로 사용된다.

  • 정렬 ($L_{align}$) : 긍정 쌍 임베딩 간의 예상 거리 (낮을수록 좋다)
  • 균일성 ($L_{uniform}$) : 임베딩이 hypersphere 상에서 얼마나 균일하게 분포되어 있는지 (낮을수록 좋다)

---

💡 Unsupervised SimCSE

• 입력 문장 $x_i$를 긍정 쌍 $x_i^+ = x_i$ 로 사용한다.
• 독립적으로 샘플링된 드롭아웃 마스크 $z$ 와 $z'$를 사용하여 동일한 입력 문장을 인코더에 두번 공급함으로써 두 개의 서로 다른 임베딩 $h_i^z$와 $h_i^{z'}$를 얻는다.

✏️ 드롭아웃의 역할 분석
타 데이터 증강 기법 (크롭, 단어 삭제, 대체 등)과의 비교를 진행한 결과 모두 드롭아웃 노이즈보다 낮은 성능을 보인다.
또한, $p = 0$로 드롭아웃을 적용하지 않거나, 고정된 0.1 (동일한 드롭아웃 마스크 사용) 확률을 사용할 경우, 동일한 임베딩을 사용하기 때문에 성능이 극적으로 저하된다.
이러한 변형들은 훈련 중 균일성은 개선되지만 정렬 지표에서 성능이 급격히 저하된다.

→ 이에 따라 비지도 SimCSE는 드롭아웃 노이즈를 사용해 정렬과 균일성 지표에서의 성능을 모두 확보한다.

---

💡 Supervised SimCSE

• 지도 데이터셋을 활용하여 정렬 지표를 개선할 더 나은 훈련 신호를 제공한다.
• 레이블 데이터 : 문장 쌍 예제가 있는 여러 데이터셋 (QQP, Flickr30k, ParaNMT, NLI)을 비교한 결과, NLI 데이터셋 (SNLI + MNLI)의 수반 (entailment) 쌍을 사용하는 것이 가장 좋은 성능을 보인다.
• NLI 데이터셋은 품질이 높으며 수반 쌍 내의 어휘 중복 정도 (lexical overlap) 이 QQP나 ParaNMT에 비해 낮다.

✏️ NLI 데이터셋
NLI (Natural Language Inference, 자연어 추론) 태스크 용으로 구축된 데이터로 한 문장 (전제)와 다른 문장 (가설) 사이의 논리적 관계를 entailment (함의), contradiction (모순), neutral (중립)로 분류한다.

• SNLI : Stanford 대학교에서 제공하는 약 57만 개의 문장 쌍 데이터로, 이미지 캡션인 Flickr30k에서 가져온 문장을 기반으로 한다. 문장 간 의미 관계가 명확하고 단순한 문장 구조를 가진 텍스트가 많다.
• MNLI : NYU에서 제공하는 약 43만 개의 문장 쌍 데이터로, 뉴스, 정부 보고서, 소설 등 10가지 장르의 텍스트 데이터를 기반으로 한다. 주로 SNLI보다 다양하고 복잡한 문장 구조를 가진다.

• 이때 모순 관계에 있는 문장을 hard negatives로 사용한다. 즉, 전제에 대해 반드시 거짓인 모순되는 가설을 어려운 부정쌍인 $x_i^-$로 추가한다.
  → 이와 같이 hard negatives를 포함한 문장 쌍을 추가했을 때 성능이 더욱 향상된다.

---

💡 Connection to Anisotropy

• 이방성 문제랑 학습된 임베딩이 벡터 공간의 좁은 원뿔 (narrow cone)에 머물러 표현력이 약화되는 문제다.
  → 이는 임베딩이 공간에 고르게 분포되어야 하는 균일성 지표와 연결된다.
• 대조 학습의 목적 함수는 부정 인스턴스를 밀어냄으로써 균일성을 향상시키고, 이방성 문제를 완화하는 데 기여할 수 있다.
• Singular Spectrum의 관점에서, 대조 목적 함수는 문장 임베딩 공간의 특이값 분포를 '평평하게' 만들어 임베딩의 균일성을 향상시키고, 표현 퇴화 문제를 완화한다.
• BERT-flow나 BERT-whitening과 같은 후처리 방법들은 주로 등방성 표현만을 장려하지만, SimCSE의 대조 학습 방식은 긍정 쌍의 정렬까지 동시에 최적화한다는 점에서 차별성이 있다.

---

💡 Experiment

평가 방식

• 7개의 표준 STS (Semantic Textual Similarity) 작업 및 7개의 전이 학습 작업에서 평가를 진행한다.
• STS 작업에서의 성능 평가 시에는 추가적인 회귀 분석기를 사용하지 않고, 두 문장 쌍 간의 유사도와 데이터 내 (사람이 매긴) 유사도 점수 간의 일치도를 보기 위해 Spearman 상관 계수를 사용한다.
• BERT와 RoBERTa의 사전 훈련된 체크포인트로 시작하고, 문장 임베딩으로는 [CLS] 토큰을 사용한다.

주요 결과

• 비지도 SimCSE-BERT 는 이전 최고 평균 Spearman 상관 계수를 72.05% → 76.25%로 크게 향상시킨다.
• 지도 SimCSE-BERT는 81.57%를 달성한다.
• SimCSE는 추가 지도 없이도, 모든 데이터셋에서 기존 베이스라인 모델들보다 성능을 크게 향상시킨다.

Ablation Studies

• 풀링 방법 : 비지도 SimCSE의 경우, [CLS] 표현 위에 MLP 레이어를 훈련 시에만 유지하고, 테스트 시에는 제거하는 방식을 사용했을 때 좋은 성능을 보인다.
  

• 어려운 부정 쌍 (hard negatives) : 모순 예제를 어려운 부정 쌍으로 사용하고 표준 가중치 $\alpha = 1$를 적용했을 때 가장 높은 성능을 보인다.
  중립 가설을 추가하는 것이 큰 이득을 가져오지는 않는다.
  

---

💡 Analysis

• 정렬 및 균일성

  • 사전 훈련된 임베딩은 주로 정렬은 좋지만 균일성이 낮다. (→ 높은 이방성)
  • 후처리 방법 (BERT-flow, BERT-whitening)은 균일성을 크게 개선하지만 정렬 지표가 급격히 퇴화한다는 한계를 지닌다.
  • 비지도 SimCSE는 좋은 정렬을 유지하면서도 사전 훈련된 임베딩의 균일성을 효과적으로 개선한다.
  • 지도 SimCSE는 지도 데이터를 통합하여 정렬 지표를 더욱 개선한다.
  • 또한 SimCSE는 다른 베이스라인에 비해 특이값 분포를 평평하게 만드는 데 도움을 주어 표현 퇴화 문제를 완화한다.
    

• 코사인 유사도 분포

  • 비지도 및 지도 SimCSE 모두 다른 유사성 수준의 문장 쌍을 더 잘 구별하며, 이는 SimCSE가 더 나은 정렬-균일성 균형을 달성할 수 있음을 입증한다.
    

---

💡 Conclusion

• 본 연구는 SimCSE를 제안하여, 드롭아웃 노이즈를 사용하는 비지도 접근 방식과 NLI 데이터셋을 활용하는 지도 접근 방식을 통해 STS 작업에서 문장 임베딩의 베이스라인 성능을 크게 향상시킨다.
• 또한 본 연구는 정렬 및 균일성 분석을 통해 해당 접근 방식의 내부 작동을 규명하며, 특히 비지도 목적 함수는 텍스트 입력의 데이터 증강에 대한 새로운 관점을 제공한다.

---

💭 MY THOUGHTS

• BERT의 표현 공간을 최적화하는 것은 모델로 하여금 자연어의 표면적인 cue 뿐만 아니라 구조적, 의미적 특성을 반영한 태스크 수행을 가능하게 한다는 점에서 필수적이지만, 주로 방대한 양의 라벨링 데이터셋을 필요로 하는 등 비용적인 부담이 큰 것으로 알고 있습니다. 이에 드롭아웃이라는 모델의 내부적인 메커니즘을 '최소 증강' 방식으로 전환함으로써 노이즈를 포함한 문장 쌍 데이터셋을 구축하고, 별도의 데이터 증강 및 라벨링 과정을 생략한 점이 인상 깊었습니다.

• 임베딩 공간에 대한 설명력을 높이기 위해 정렬 및 균일성 지표를 별도로 정의하고, 이후 ablation studies를 통해 메커니즘의 내부 구조를 조금이나마 파헤쳐보았다는 점이 인상 깊었습니다. 단순히 실험 결과 특정 파라미터, 데이터셋, 학습 방식이 유의미했다는 식의 설명이 아닌, 특정 지표를 정의하고 이를 타 방법론과 비교해보며 내부 작동 방식을 규명하고자 했다는 점이 본 논문의 차별점인 것 같습니다. 또한, 목적 함수의 균일성 항에 대한 분석을 바탕으로 $WW^T$의 원소 합인 $Sum(WW^T$)에 대한 상계를 최소화하는 과정이 특이값 분포를 평탄화하여 등방성을 높인다는 식의 해석을 유도한 점에서 본 논문이 단순 경험에 의거하지 않고 확고한 문제 정의를 바탕으로 연구를 진행했다는 인상을 받았습니다.

• 다만 높은 성능이 드롭아웃의 확률과 서로 다른 마스크를 적용한 데이터 쌍에 매우 민감하다는 점에서, 증강 과정이 모델 내부 난수에 크게 의존적이라는 인상을 받았습니다. 이러한 노이즈 소스에 대한 의존성이 본 방법론의 재현성이나 이식성에도 영향을 끼칠 수 있겠다는 생각이 들었습니다.
  또한, 지도 SimCSE의 경우 NLI 데이터셋에 포함된 entailment / contradiction 이라는 범주 구분에 맞추어 학습을 진행하였습니다. 비지도 SimCSE의 경우 in-batch negatives를 모두 반영한 학습 방식을 채택했지만, 지도 학습의 경우 중립 즉, 전제와 가설 간의 관계 여부가 명확하지 않은 데이터에 대한 학습은 포함되지 않아, 일반화 가능성의 측면에서 충분히 균형적인 경계 학습이 이루어졌는지에 대한 의문이 들었습니다.