원제: Sentence-T5: Scalable Sentence Encoders
from Pre-trained Text-to-Text Models

1. Introduction

Sentence Embedding: 문장의 의미를 압축된 형태로 표현하여 분류, QA, Semantic retrieval 등 다양한 언어 처리 작업에 사용 가능

최근 연구들에선 모델의 파라미터를 늘리고, pre-trained된 모델을 사용하는 것이 성능 향상에 효과적인 접근법임을 보여준다.

해당 논문에선 T5에서 Sentence Embedding을 추출하는 방법에 대해서 탐구한다. 기본적으로 T5는 span corruption 방식을 사용하기에 파라미터의 확장이 가능하지만, retrieval과 clustering에서 효율적인 적용이 어렵다.

span corruption: 문장에서 연속된 구간을 통째로 masking

• cross-attention inference cost: Query 수 N과 Candidate 수 M에 대해, 검색 후보마다 decoder을 추론하기에 $O(N \times M)$이란 계산량
• 의미적 유사성 기반 임베딩은 학습하지 않음
• encoder-decoder 구조의 한계: 원래 임베딩용이 아닌 문장 이해(encoding) 후 생성(decoding)이 목적이기에 의미를 반영하기 위해선 encoder 결과만이 아닌 decoder interaction도 포함되어야 함

해당 논문에서는 3가지 방식을 시도한다.

a) Pretrained T5
b) encoder의 첫번째 토큰 표현을 임베딩으로 사용
c) encoder의 모든 토큰 표현의 평균을 임베딩으로 사용
d) decoder의 첫번째 토큰 표현을 임베딩으로 사용

2. Sentence T5

Model Architecture

위 방식의 b를 Encoder-only first(ST5-Enc fisrt), c를 Encoder-only mean(ST5-Enc mean), d를 Encoder-Decoder first(ST5-EncDec first)라고 명명한다.

ST5-Enc first와 ST5-Enc mean의 경우에는 BERT와 같은 encoder-only pre-trained model의 풀링과 유사하지만, CLS 토큰이 존재하지 않는다.

ST5-EncDec first에선 Encoder-Decoder 구조에서 decoder가 첫 토큰을 생성할 때 전체 입력 문장의 의미를 반영하고 있다고 가정하기에 첫 토큰을 임베딩으로 활용한다.

Encoder의 학습에는 Dual Encoder 구조를 사용한다.

Dual encoder: 두 입력 문장을 동일한 인코더(sharing weight)로 각각 고정 길이 벡터로 인코딩하여 Projection layer와 L2 정규화를 거친 후 유사도를 계산

Constrastive Learning(대조 학습)

데이터들 간의 관계를 통해서 학습을 진행하는 방식. 이를 이용하면 임베딩 공간에서의 uniformity가 개선되어 downstream task 성능이 향상된다.

Constrastive Loss

paired dataset: $\mathcal D = \{(v_i, v_i^+)\}$
이때 $v_i$는 입력 문장, $v_i^+$는 의미적으로 유사한(Positive) 문장

학습시에는 $v_i$와 $v_i^+$와의 거리는 줄이면서, $v_i^-$와의 거리는 멀게 임베딩을 배치해야한다. 이를 in-batch sampled softmax로 나타내어

$\mathcal L = {{e^{sim(v_i, v_i^+)/\tau}}\over{\sum_{j \in \mathcal B} e^{sim(v_i, v_j^+)/\tau}}}$
만약 Negative sample $v_i^-$가 있다면,
$\mathcal L = {{e^{sim(v_i, v_i^+)/\tau}}\over{\sum_{j \in \mathcal B} e^{sim(v_i, v_j^+)/\tau} + e^{sim(v_i, v_j^-)/\tau}}}$

Two-stage Training

1단계

• 커뮤니티 QA 사이트에서 추출한 질문-답변 데이터로 학습
• 답변의 질문을 positive example로 사용

2단계

• NLI 데이터로 fine-tuning
• entailment는 positive
• contradiction은 negative

3. Experiment Setup

• 학습 데이터: 1단계 웹 포럼 수집, 2단계 SNLI 데이터셋
• Evaluation: SentEval 벤치마크(transfer, STS 작업)
• Goal
  Q1. 3가지 방법 중 가장 좋은 임베딩 방법 찾기
  Q2. 파인튜닝 없이 T5 sentence 임베딩이 downstream에서 잘 동작하는지 확인
  Q3. NLI나 QA같은 constrastive 문장 임베딩 학습이 실제 임베딩 성능에 얼마나 영향을 주는지 확인
  Q4. 모델 용량 확장의 영향 확인

4. Result

Q1. 가장 좋은 임베딩 방법

• Raw T5 문장 임베딩에 관해선 ST5-Enc mean방식이 가장 안정적
• STS에서는 embedding collapse로 인해서 오히려 성능이 낮아짐
• Encoder-only: Transfer task에서 강하고, 일반화 성능이 좋음
• Encoder-Decoder: STS task에서 더 좋은 결과, Decoder가 Additional Attention Pooling의 역할도 함

  Additional Attention Pooling: 토큰마다 weight를 달리해서 합치는 방법. 중요한 token을 더 많이 반영한다.

Q2. Downstream

• Transfer task에선 잘 작동함
• STS 성능이 낮음

Q3. Contrastive Learning

• NLI기반 contrastive fine-tuning: STS 성능 향상
• QA + NLI 2단계: transfer + STS 모두 개선
• Embedding Geometry 개선에도 효과적

Q4. 모델의 크기의 영향

• 파라미터가 증가할수록 성능은 꾸준히 향상됨
• Transfer task와 semantic similarity 모두 개선됨
• 모델 크기를 늘리는 것 만으로는 embedding collapse가 완전히 해결되진 못함