[Paper Review] Self-Guided Contrastive Learning for BERT Sentence Representations

📍 Self-Guided Contrastive Learning for BERT Sentence Representations

https://aclanthology.org/2021.acl-long.197.pdf

---

💡 Summary

• BERT 문장 표현(Sentence Representations)의 품질을 향상시키기 위한 자기 지도 대조 학습(Self-Guided Contrastive Learning) 방법론을 제안한다.
• BERT 및 변형 모델에서 문장 임베딩을 추출하는 과정이 명확하지 않고 최적화되지 않았다는 문제점을 지적하며, 데이터 증강 없이 자기 지도 방식으로 BERT를 미세 조정하는 방법을 소개한다.
• BERT의 중간 은닉 표현(intermediate hidden representations)을 긍정 샘플로 활용하는 자기 지도 메커니즘을 사용하고, 컴퓨터 비전에서 사용되는 NT-Xent 손실 함수를 최적화한다.
• 해당 접근 방식이 다양한 문장 관련 task에서 baseline보다 더 효과적이며, 추론 시 효율성이 높고 도메인 변동에 강인함을 입증한다.

---

💡 INTRODUCTION

• BERT와 RoBERTa와 같은 사전 학습된 Transformer 모델은 NLU (자연어 이해)에서 발전을 이끌었지만, 기본적으로 단어 토큰 예측에 중점을 두도록 사전 학습되었기 때문에 문장 수준 작업에 직접 활용하기가 간단하지 않다.
  
  

  • 기존에는 다운스트림 작업의 지도 학습으로 미세 조정을 진행한다.
  • 이때는 마지막 레이어의 [CLS] 토큰 임베딩을 문장의 표현으로 간주한다.
  • [CLS] 임베딩이 인코더와 작업별 레이어 간의 유일한 통신 게이트 역할을 하므로 전체적인 정보를 포착하기에 효과적이다.
    
    

• 그러나 레이블링된 데이터셋이 없는 경우, BERT에서 문장 임베딩을 도출하는 최상의 전략이 불분명하다.

  • [CLS] 임베딩을 단순히 활용하는 것은 실망스러운 결과를 낳는다고 보고되어왔다.
  • 이에 따라 현재 비지도 방식으로 BERT 문장 임베딩을 구축하는 일반적인 방법은 마지막 레이어에 평균 풀링(mean pooling)을 적용하는 것이다.
    
    
    
  • 다양한 BERT 레이어와 풀링 방법을 실험한 결과, 성능(Spearman 상관 계수)은 선택된 레이어와 풀링 방식에 따라 16.71에서 63.19까지 크게 달라질 수 있음이 발견되었다.
    
    ✏️ 이는 현재의 BERT 문장 벡터 구축 관행이 충분히 견고하지 않으며, BERT의 표현력을 더 끌어낼 여지가 있음을 시사한다.

• 이 문제를 해결하기 위해 자기 지도 메커니즘을 활용하는 대조 학습 방법이 제안된다.
  
  💡 이때, 중간 BERT 은닉 표현을 최종 문장 임베딩이 가까워져야 하는 긍정적 샘플로 재활용하는 것이 중요하다.

  • 해당 방법은 대부분의 대조 학습 프레임워크에서 필수적인 데이터 증강이 필요 없어 더 간단하고 사용하기 쉽다는 특징이 있다.

---

💡 METHOD

Contrastive Learning with Self-Guidance

• BERT의 중간 레이어에서 얻은 은닉 표현을 피벗으로 활용하여 BERT 문장 벡터가 이들에 가까워지거나 멀어지도록 유도한다.
  

프레임워크는 다음과 같다.

• BERT를 두 개의 복사본, BERT_F (고정된 BERT)와 BERT_T (미세 조정되는 BERT)로 복제한다.

• BERT_F는 훈련 신호를 제공하기 위해 훈련 내내 고정한다.

  • 훈련 신호가 퇴화되는 것을 방지하기 위함이다.

• BERT_T의 마지막 레이어에서 얻은 [CLS] 벡터($c_i$)가 최적화하려는 최종 문장 임베딩으로 간주된다.
  
  

• 미니 배치 내의 각 문장 $s_i$에 대해, BERT_F를 사용하여 토큰 수준의 은닉 표현 $H_{i,k}$ (모든 레이어 k)를 계산한다.
  풀링 함수 p (max pooling)을 $H_{i,k}$에 적용하여 레이어별 문장 수준 뷰인 $h_{i,k}$를 도출한다.
  샘플링 함수 $\sigma$ (uniform sampler)를 사용하여 최종 뷰인 $h_i$를 선택한다.
  
  

• BERT_T에서 $c_i$를 계산한다.

  ✏️ 손실 정의 : $L_{base} = \frac{1}{2b}\sum L_{m}^{base} + \lambda L_{reg}$
  
  이때,
  NT-Xent 손실 $L_{m}^{base}$를 계산하는 데 $c_i$와 $h_i$를 사용한다. 여기서 $c_i$와 $h_i$는 서로 긍정 쌍에 속한다.
  
  $L_{m}^{base} = -log(\phi(x_m, \mu(x_m) / Z)$,
  
  where $\phi(u, v) = exp(g(f(u), f(v)) / \tau)$, and $Z = \sum_{n = 1, n \ne m}^{2b} \phi(x_m, x_n)$
  and $\mu(x) = \begin{cases} h_i & \text{if }x = c_i \\ c_i & \text{if }x = h_i \end{cases}$
  and $g$ is the cosine similarity function
  
  $L_{reg} = ||BERT_F - BERT_T||^2_2$
  해당 정규화항은 BERT_T가 BERT_F와 너무 멀어지는 것을 방지한다.

• 훈련이 완료되면 BERT_T만 남기고 $c_i$를 최종 문장 표현으로 사용한다.
  
  

Learning Objective Optimization

• 기존 NT-Xent 손실은 네가지 요소로 구성된다.
  → 본 연구는 세가지 주요 수정 사항을 통해 목적 함수를 문장 표현 학습에 더욱 적합하게 조정한다.

• $L_i^{opt1}$ : $c_i$와 $h_i$를 동등한 개체로 간주하기보다는 $c_i$ 개선에 초점을 맞추어, $h_i$는 $c_i$를 이끄는 지점의 역할만 하도록 재정의한다.
  이에 따라 Figure 3 속 (4) 요소를 고려하지 않는다.
  
  $L_i^{opt1} = -log(\phi(c_i, h_i) / \hat{Z})$, where $\hat{Z} = \sum_{j = 1, j \ne i}^{b} \phi(c_i, c_j) + \sum_{j = 1}^{b} \phi(c_i, h_j)$
  

• $L_i^{opt2}$ : Figure 3의 요소 (2) ($= \phi(c_i, c_j)$)가 성능 개선에 중요하지 않음을 발견하여 이 또한 제거한다.
  
  $L_i^{opt2} = -log(\phi(c_i, h_i) / \sum_{j = 1}^{b} \phi(c_i, h_j))$
  

• $L_i^{opt3}$ : $c_i$를 지도하기 위해 다수의 뷰 ($= h_{i, k}$ 즉, 모든 레이어에서 온 뷰)를 허용함으로써 신호를 다양화한다.
  
  $L_{i, k}^{opt3} = -log\frac{\phi(c_i, h_{i,k})}{\phi(c_i, h_{i,k} + \sum_{m = 1, m \ne i}^{b} \sum_{n = 0}^{l} \phi(c_i, h_{m,n})}$
  

  ✏️ 이에 따라 최종 최적화된 손실은 다음과 같다.
  
  $L^{opt} = \frac{1}{b(l + 1)} \sum_{i = 1}^{b} \sum_{k = 0}^{l} L_{i,k}^{opt3} + \lambda L^{reg}.$
  

---

💡 EXPERIMENTS

• 모델로는 BERT, MBERT (multilingual variant), RoBERTa, SBERT를 사용한다.
• 훈련 가능한 모델의 성능은 무작위성을 줄이기 위해 8번의 개별 실행 평균으로 보고된다.
  하이퍼파라미터는 STS-B 검증 세트에서 최적화된다.

Semantic Textual Similarity Tasks (STS task)

• 데이터셋 및 지표 : STS-B, SICK-R, STS12-16 포함 총 7개 데이터셋을 사용하며, 평가 척도는 Spearman 상관 계수이다.
• 베이스라인 : GloVe, USE, CLS 토큰 임베딩, Mean pooling, WK pooling (Wang and Kuo, 2020), Flow (Li et al., 2020), Contrastive (Fang and Xie, 2020) (back-translation 기반 대조 학습) 등이 사용된다.
• SG 및 SG-OPT : 본 논문에 따라 자가 지도 방식으로 훈련된 BERT 인스턴스를 Contrastive (SG) : L_base 사용, Contrastive (SG-OPT) : L_opt 사용 으로 명명한다.
  
• SG와 SG-OPT 방법이 대부분의 실험 설정에서 다른 베이스라인보다 뛰어난 성능을 보인다.
• 특히, 최적화된 버전인 SG-OPT가 기본 SG보다 일반적으로 더 나은 성능을 보여 학습 목적 함수 최적화의 효과를 입증한다.
  

Multilingual STS Tasks (다국어 STS task)

• MBERT를 사용하여 영어 데이터(STS-B)로만 fine tuning을 진행하고, 다른 언어 (SemEval-2014 스페인어, SemEval-2017 아랍어, 스페인어, 영어) 데이터셋에 제로샷 전이 (cross-lingual zero-shot transfer) 방식으로 테스트한다.
  

• MBERT와 SG-OPT의 결합으로 SemEval-2014 스페인어 작업에서 이미 최고의 시스템을 능가하는 평균 풀링 성능을 더욱 향상시킨다.
  

• SemEval-2017에서는 MBERT가 (특히 스페인어/영어) 베이스라인을 능가하거나(아랍어) 필적할 만한 성능을 보인다.

• 더불어, 이는 MBERT가 유럽 언어 STS 작업에 유용할 잠재력이 있음을 보여준다.
  

SentEval and Supervised Fine-tuning

• SentEval 평가 : SentEval 툴킷을 사용하여 7가지 다운스트림 작업(MR, CR, SUBJ, MPQA, SST2, TREC, MRPC)에서 문장 임베딩의 품질을 선형 분류기 성능(정확도)으로 측정한다.
  
• SG-OPT가 BERT-like 모델의 성능을 일반적인 평균 풀링보다 향상시키는 데 도움이 되며, BERT-base/large에서 WK 풀링보다 뛰어나다는 점을 알 수 있다.
• SG-OPT는 BERT보다 SBERT 미세 조정 시에 얻는 이득이 상대적으로 낮은데, 이를 통해 SG-OPT와 SBERT 훈련이 유사한 귀납적 편향(inductive bias)을 시사한다는 점을 추측할 수 있다.

---

💡 ANALYSIS

Ablation Study

• NT-Xent 손실에 대한 모든 수정 사항이 성능 개선에 기여함을 확인하였다.
• Temperature hyperparameter ($\tau$)와 계수 ($\lambda$)의 올바른 선택이 최적 성능 달성에 중요하게 작용한다.
  

Robustness to Domain Shifts

• SG-OPT를 STS-B 대신 NLI 데이터셋으로 훈련한 경우를 비교한다.
• SG-OPT가 Flow에 비해 도메인 이동에 따른 손실 폭이 훨씬 작다. 이에 따라 SG-OPT가 도메인 이동에 상대적으로 강건함을 명확히 보일 수 있다.
  

Computational Efficiency

• SG-OPT는 훈련에 적당한 시간 (8분 미만)이 소요되지만, 훈련 완료 후에는 풀링과 같은 후처리 과정이 필요 없으므로 추론 단계에서 가장 효율적이다.
  

Representation Visualization

• t-SNE를 사용한 시각화를 통해, SG-OPT가 BERT 문장 임베딩이 긍정 쌍 (positive pairs)과 더 잘 정렬되도록 유도하는 동시에, 부정 쌍(negative pairs)과는 거리를 유지하도록 함을 알 수 있다.

• 더불어, 백-번역과 자가 지도 알고리즘을 결합하는 추가 실험 결과, 두 기술의 융합이 일반적으로 더 나은 성능을 가져옴을 알 수 있다. 이는 이후 다양한 대조 학습 기술을 결합하는 방법론을 기대할 수 있음을 시사한다.

---

💡 CONCLUSION

• 본 논문은 BERT 문장 임베딩을 개선하기 위한 자가 지도 대조 학습 방법을 제안한다.
• 데이터 증강과 같은 외부 절차에 의존하지 않고, 대조 학습의 이점을 누릴 수 있으며, 경쟁력 있는 베이스라인보다 고품질의 문장 표현을 생성한다는 점을 확인하였다.
• 또한, 본 방법론은 훈련 완료 후 후처리 과정이 필요 없으므로 추론에서 효율적이며 도메인 이동에 상대적으로 강건함이 입증되었다.

---

💭 MY THOUGHTS

• 어텐션 기반의 아키텍처를 가진 모델인 만큼 전체적인 (양방향의) 문맥 정보를 담은 토큰으로써 [CLS] 토큰이 통용되어 왔지만, 실제로도 해당 토큰이 장거리 의존성을 지닌 문장이나, 복잡한 통사 구조의 정보를 모두 내포할 수 있을지에 대한 직관적인 의구심은 줄곧 있었던 것 같습니다. 그에 따라 마지막 레이어에서의 평균 풀링과 같이 문맥 정보를 추출하기 위한 아이디어나 백 번역과 같이 부가적인 과정을 더하는 방식이 고안되어 온 것으로 보입니다.
  이때 기존 방식들의 공통된 한계인 외부 데이터 증강에 따른 효율성 저하라는 문제를 지적하며, 모델 내부에서 품질 개선을 위한 방법론을 시도했다는 점에서 큰 의의를 지니는 연구라는 생각이 듭니다. 다만 학습의 안정성을 위해 두개의 모델을 병렬적으로 사용해야 한다는 점에서, 학습 단계에서의 시간적인 비용은 여전히 개선해나가야 하는 문제인 것 같습니다.
  

• BERT는 특히 문장 구조 내에 스코프 제약이 있거나, 장거리 의존성을 고려해야 하는 자연어 태스크에서 상대적으로 낮은 성능을 보이는 것으로 알고 있습니다. 이를 보완하기 위해 타겟이 되는 특정 토큰과 그 주변 문맥 간의 의미적인 거리를 좁히는 방식을 차용하여, 특정 태스크에 적합한 모델을 구현해보는 등의 시도를 해볼 수 있을 것 같습니다. 나아가, 문장의 acceptability를 평가하는 태스크에서는 Figure 5와 같이 허가되는 문장들 간의 거리를 좁히고 최소 대립쌍 간의 거리를 확장하는 방식이 더욱 효과적일 것으로 보입니다.