T5 : Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer

홍선재·2025년 5월 12일

국민대학교 인공지능학회 (XAI)

목록 보기

8/11

이제는 논문 작명 센스까지 학회에서 평가하는 것 같다.

T5 (Text-to-Transfer Transformer)는 앞글자 t가 5개 들어간다고 T5인 것이다.

2017년에 나온 Transformer를 기본으로 한 Encoder-Decoder 모델로 새로운 학습 데이터를 도입하고 transfer learning의 측면에서 데이터에 text-to-text라는 개념을 도입하여 학습한 모델이다.

T5에서 제안한 범용 자연어 처리 모델로 모든 텍스트 기반 문제를 “텍스트 입력 → 텍스트 출력” 형식으로 통일한 것이 가장 큰 특징이다.

우선 논문 페이지 숫자에서 정말 읽기 싫었지만 실험 부분이 많아 그나마 다행이었다.

Abstract

전이학습(transfer learning)은 먼저 데이터가 풍부한 task에 대해 모델을 사전학습 한 후 이를 다른 다운스트림 task에 fine-tuning하는 방식으로 최근 NLP 분야에서 매우 강력한 기법으로 자리잡고 있다. 이 방식의 효과는 다양한 접근 방식과 기법의 등장을 이끌었다.

이 논문에서는 모든 텍스트 기반 문제를 text-to-text 형태로 변환하는 통합 프레임워크를 제안하며, 이를 통해 전이 학습의 다양한 방법론(사전 학습 목적, 모델 구조, 데이터셋, 전이 방식 등)을 체계적으로 비교한다.

또한 대규모 웹 데이터로 구성된 새로운 말뭉치인 C4(Colossal Clean Crawled Corpus)를 통해 모델을 확장하면서 요약, 질의응답, 텍스트 분류 등 다양한 벤치마크에서 sota 성능을 달성했다.

1. Introducction

문제 제기

NLP 모델이 다양한 텍스트 기반 과제를 잘 수행하려면, 텍스트에 대한 일반적인 이해 능력을 가져야한다.

이 이해는 철자 수준의 정보까지 요구한다 예를 들어 “튜바는 대부분의 백팩에 들어가지 않는다”는 상식 수준까지 다양합니다.

이러한 능력은 과거에는 word2vec이나 GloVe 같은 방법으로 단어 임베딩을 통해 일부 제공되었지만 요즘은 모델 전체를 사전학습해서 얻는 것이 더 일반적이다.

최근 흐름 : 사전학습 + 전이학습

컴퓨터 비전 분야는 대규모 라벨 데이터셋(image-net 등)을 활용한 지도학습 기반 사전학습을 통해 좋은 성과를 냈다.
하지만 NLP 분야에서는 라벨 없는 대용량 데이터로 비지도학습 기반 사전학습이 주류 입니다. ex) BERT, GPT, XLNet, RoBERTa 등

T5 프레임워크

T5의 모든 핵심 아이디어는

모든 NLP 과제를 하나의 방식으로 통일하자 : 텍스트 입력 → 텍스트 출력

번역, 요약, 질의응답, 문장 분류 등 모든 과제를 문장 생성 문제(text generation)로 바꿔서 하나의 모델로 해결한다.

이 방식의 장점 :

하나의 모델 구조
하나의 손실 함수
하나의 하이퍼파라미터 셋팅
하나의 학습 & 디코딩

이러한 통일된 text-to-text 접근법을 통해 전이학습의 다양한 설정들을 체계적으로 비교할 수 있다.

다양한 사전학습 objective, 구조, 전이 방법 등을 대규모 실험을 통해 비교 분석
C4 (Colossal Clean Crawled Corpus): 깨끗하게 정제된 초대형 웹 텍스트 말뭉치 제공
최대 11B 파라미터 모델까지 실험
모델, 데이터셋, 코드 공개

Figure 1

이 그림은 모든 NLP 과제를 입력 텍스트 → 출력 텍스트 형태로 바꾸는 방식을 시각적으로 보여줍니다.

Task 종류	입력 (Input Text)	출력 (Target Text)
번역	`translate English to German: That is good.`	`Das ist gut.`
문장 문법 판단 (CoLA)	`cola sentence: The course is jumping well.`	`not acceptable`
문장 유사도 (STS-B)	`stsb sentence1: The rhino grazed on the grass. sentence2: A rhino is grazing in a field.`	`3.8`
요약	`summarize: state authorities dispatched emergency crews ...`	`six people hospitalized after a storm in attala country`

모두 “명령어(prefix) + 입력” → “정답 출력” 형식으로 통일되어 있다. 이 때문에 같은 모델과 손실 함수로 학습이 가능하다.

2. set up

대규모 실험 결과를 제시하기에 앞서 본 논문에서 사용된 결과들을 이해하기 위해 필요한 배경 지식을 간단히 정리한다. 여기에는 Transformer 모델 구조와 우리가 실험에서 평가하는 다운스트림 태스크들이 포함된다.

모든 문제를 text-to-text 형식으로 처리하는 접근 방식과 비지도 학습에 사용할 라벨이 없는 텍스트 데이터의 원천으로 만든 Colossal Clean Crawled Corpus (C4)에 대해서 설명한다.

그리고 이 논문에서 제안한 모델 및 프레임 워크를 T5라고 부른다.

2.1 Model

자연어 처리에서의 전이학습 초기에는 RNN이 주로 사용되었지만 최근에는 Transformer 구조를 기반으로 한 모델들이 일반화되었다. Transformer는 처음에는 기계 번역에서 효과적임이 입증되었지만, 이후로는 다양한 NLP 작업에서 사용되고 있다.

이러한 보편성으로 인해 이 논문에서 실행한 모든 모델은 Transformer 아키텍쳐를 기반으로 한다.

이 절에서 언급하는 몇 가지 세부사항과 3.2절에서 다루는 번형들을 제외하면 Transformer의 기본 구조에서 크게 벗어나지 않는다.

우선 Transformer의 대략적인 구조를 알아보자

Transformer는 RNN이나 CNN 없이 self-attention만으로 시퀀스를 처리하는 딥러닝 모델로

전체 구조는 encoder-decoder 아키텍쳐이고 인코더/디코더는 동일한 블록을 여러 번 반복 (기본 6개)

Encoder

입력 시퀀스를 받아 의미 있는 벡터로 인코딩
각 블록 구성:
1. Multi-head Self-Attention
2. Add & LayerNorm
3. Feed Forward Network
4. Add & LayerNorm
Self-Attention은 시퀀스 내 토큰들 간의 상호작용을 모델링
FFN은 각 위치별 독립적으로 MLP 적용
LayerNorm은 안정적 학습을 돕고, Residual 연결로 gradient 흐름 보완

Decoder

인코더의 출력을 참조하여 새로운 시퀀스를 생성
1. Masked Multi-head self attention (causal mask 적용)
2. Add & LayerNorm
3. Encoder-Decoder Attention
4. Add & LayerNorm
5. FFN
6. Add & layer norm
Decoder는 미래 토큰을 참조하지 않도록 Causal Masking
Encoder의 Context를 참조하는 별도의 Attnetion 존재

그래서 T5는 Transformer에서 무엇이 달라졌는가?

T5는 Transformer 구조를 대부분 유지하면서, 다음과 같은 설계적 차이점을 가집니다:

항목	Transformer (원형)	T5 (Text-to-Text Transfer Transformer)
LayerNorm 위치	Residual 뒤에 적용	Residual 앞에 적용
LayerNorm 방식	일반 LN (bias 포함)	Bias 없는 LayerNorm 사용
Position Encoding	절대 위치 인코딩 (sin/cos 또는 학습된 벡터)	상대 위치 인코딩→ 거리 offset 기반 log scale 스칼라 가중치
위치 인코딩 범위	전체 토큰 위치에 따라 독립적으로 적용	128토큰까지 구간화된 상대 거리 기반, 이후 동일한 처리
Attention 방식	동일	동일 (Multi-head Attention, Causal Mask 포함)
출력층	별도 Softmax 가중치 사용	입력 임베딩과 Softmax 가중치 공유
Dropout	없음 or 선택	Attention, FFN, 입력/출력 전반에 Dropout 사용
학습 구조	태스크별 맞춤 구조 필요	모든 태스크를 Text-to-Text로 통일하여 처리
학습 환경	GPU 기준 설계	TPU Pod + Mesh TensorFlow 병렬화 학습 최적화

t5는 구조적인 변화보다도 학습 패러다임 자체를 바꾼 것에 집중하자
모든 태스크를 텍스트 생성 문제로 통일 (text to text) 했기 때문에 분류, 요약, QA 등도 전부 동일한 방식으로 학습 가능
이를 위해 입력 prefix로 태스크 명시 → 모델이 수행해야 할 작업을 자연스럽게 구분한다.

summarize: The house was destroyed by the storm.
→ Output: House destroyed in storm.

요약

T5는 Transformer 아키텍쳐를 거의 그대로 사용하면서 LayerNorm, 위치 인코딩, 출력 구조, 학습 환경 최적화 측면에서 약간의 구조적 차별점을 갖고 있으며, 무엇보다도 모든 작업을 텍스트-투-텍스트로 처리하는 새로운 전이학습 프레임워크로서의 아이디가 핵심이다.

2.2 Colossal Clean Crawled Corpus (C4)

기존의 많은 nlp 전이학습 연구들은 대규모 라벨 없는 데이터셋을 활용해 비지도 학습을 진행해왔다. T5논문에서는 이런 라벨 없는 데이터ㅢ 품질, 특성, 크기가 전이 성능에 어떤 영향을 미치는지 측정하고자 했다.

이를 위해 저자들은 웹에서 수집한 텍스트 데이터 원천으로 Common Crawl을 활용하여 우리가 원하는 특성을 가진 데이터셋을 만들었다.

Common Crawl이란?

누구나 접근 가능한 웹 아카이브로 HTML에서 마크업과 기타 비텍스트 요소를 제거해 텍스트만 추출된 웹 페이지를 제공한다.
매월 약 20TN의 텍스트 데이터가 수집된다.
이 데이터는 기존에도 언어 모델(n-gram), 상식 추론, 병렬 코퍼스 구축, 사전학습, 옵티마이저 테스트 등에 다양하게 활용된 바 있다.

하지만 대부분의 텍스트가 자연어가 아니다. 그리고 불필요하거나 해로운 콘텐츠나 욕설이 포함되어 있다.

그래서 저자는 10개의 기준을 세워서 데이터를 정제했다.

마침표/느낌표/물음표/인용부호로 끝나는 줄만 유지
3문장 미만의 페이지는 제외, 단어 5개 미만의 줄도 제외
욕설 목록에 있는 단어가 포함된 페이지 제거

→ github/LDNOOBW 욕설 리스트
Javascript 활성화 요청 문구 포함된 줄 제거
lorem ipsum이 포함된 페이지 제거
중괄호 {가 포함된 페이지 제거 (코드 가능성 높음)
Wikipedia 인용 마커(예: [1], [citation needed]) 포함된 줄 제거
정책 관련 문구 포함된 줄 제거: "terms of use", "privacy policy", "uses cookies" 등
3문장 span이 중복될 경우, 하나만 남기고 나머지는 제거
언어 판별기(langdetect) 사용: 영어 확률 ≥ 0.99인 페이지만 유지

기존 연구들의 일부 연구들도 Common Crawl 필터링을 했짐나 필터 기준이 적거나 데이터가 공개되지 않았거나 뉴스 데이터만 다루거나 창작물로 구성되거나 번역 병렬 데이터만 포함했지만 C4는 보다 철저하고 일반적인 정제 기준으로 새로운 대규모 영어 코퍼스를 제작했다.

2.3 Downstream Tasks

T5는 자연어 처리 모델의 범용적인 언어 이해 및 생성 능력을 평가하기 위해 다양한 다운스트림 과제에 적용되었다. GLUE와 SuperGLUE를 통해 문법성 판단, 문장 유사도, 감정 분류, 자연어 추론 등 여러 분류 태스크를 통합적으로 학습했고 ,CNN/Daily Mail과 SQuAD를 활용해 요약과 질의응답과 같은 생성 태스크도 처리했다 . 특히 SQuAD를 활용해 요약과 질의응답과 같은 생성 태스크도 처리했다. 특히 T5는 질문의 정답조차 토큰 단위로 직접 생성하며 기존 방식과 차별점을 보였다. 또한 영어로만 사전학습된 상태에서 프랑스어, 독일어, 루마니어 번역도 fine tuning을 통해 수행할 수 있었다. 이처럼 T5는 다양한 문제를 전부 텍스트 생성 방식으로 통일해 처리함으로써 하나의 모델로 넓은 범위의 언어 작업을 아우를 수 있다는 가능성을 보여줬다.

2.4 Input and Output Format

T5는 다양한 nlp task를 하나의 형식으로 통일하기 위해 모든 문제를 “text to text” 구조로 변환했다. 작업 유형은 프리픽스 텍스트로 구분하여, 번역, 분류, 요약, 질의 응답 등 모든 과제를 같은 방식으로 학습한다. 회귀 문제(STS-B)는 문자를 문자열로 바궈 분류처럼 다뤘고 지시어 해석 문제 (WSC 등)도 텍스트 기반 질문-답변 형식으로 변환했다. 이러한 토잉ㄹ된 처리 방식 덕분에 t5는 하나의 모델로 다양한 작업을 효율적으로 학습하고 평가할 수 있었다.

3. Experiments

최근 자연어 처리 분야에서 전이학습의 발전은 새로운 사전학습 목적, 모델 구조, 비지도 데이터셋 등에 의해 이루어져 왔다 t5 논문은 이러한 기법들이 각각 어떤 영향을 미치는지 실험적으로 분석하고 그 결과를 바탕으로 여러 태스크에서 최신 성능을 달성하는 것을 목표로 한다.

이 연구에서는 하나의 기본 설정을 기준으로 두고 매 실험 마다 단 하나의 요소만 변경하는 방식으로 구성되었다. 예를 들어 사전학습 objective를 비교할 때는 모델 구조나 데이터 셋 등은 고정하고 objective만 다르게 설정해 그 효과를 분석한다. 물론 이 방식은 조합 간 상호작용을 놓칠 수 있지만 모든 조합을 탐색하는 것은 현실적으로 불가능하기 때문에 효율적인 접근이 필요했다.

또한 BERT처럼 인코더only 구조를 그대로 구현하기보다는 그와 유사한 목표나 역할을 수행하는 구조를 변형해 테스트하였다. 결과적으로 T5는 다양한 아키텍처, 학습 방식, 데이터셋, 전이 전략, 모델 크기에 대한 실험을 순차적으로 진행하고 마지막에는 이 결과들을 조합하여 여러 NLP 태스크에서 최고 성능을 달성하게 된다.

3.1.1 Model

기존에 제시된 Transformer 모델을 사용하며 BERT base 모델과 비교한다. FFN의 output dimensionality는

$d_{ff}$ = 3072다. key와 value 행렬들에서 사용되는 inner dimensionality는 $d_{kv}$ = 64다.

multi-head의 헤드 개수는 h= 12이다.

다른 sublayers와 embeddings의 차원은 $d_{model}$ = 768이다.

이는 곧 220M 파라미터로 BERT base의 약 2배이다.

3.1.2 Training

Text-to-text로 학습하기 대문에 maximum likelihood(최대 우도) 방법으로 학습하며 cross entropy loss를 사용한다. Optimizer로는 AdaFactor를 사용하였으며 test time에는 greedy decoding을 사용한다.

pre-traning 단계에서는 C4 데이터를 활용하여 $2^{19}$ = 524,288 steps 만큼 학습한다. Maximum sequence length는 512이며 batch size는 128 sequences다.

이를 계산하면 하나의 mini batch는 128 x 512 = $2^{7+9} = 2^{16}$ 의 tokens를 가진다.

따라서 전체 배치 사이즈와 스텝을 계산하면 pre-training 단계에서 약 $2^{35}$ ≈34B tokens를 학습한다.

BERT는 약 137B tokens를, RoBERTa에서는 약 2.2T tokens를 사용한다.

T5에서는 그에 비하면 훨씬 적은 수인 $2^{35}$ ≈34B 학습하여 합리적인 컴퓨테이션 로드를 고려한다.

Inverse square root라는 learning rate schedule 방법을 사용한다. n이 현재 training iteration이고 k가 warm-up steps일 때 inverse square root는 $\frac {1} {\sqrt{max(n,k)}}$
다. 본 논문에서는 k를 모두 $10^4$ 로 설정했다. Initial lr이 0.01일 때 학습률 스케쥴을 따르면 초반 $10^4$ steps 동안은 warm up steps라서 lr이 상수로 존재하지만 그 이후에는 지수적으로 감소한다.

fine tuning에서는 모든 테스크들에 대해서 $2^{18}$ = 262144steps 만큼 학습한다. Maximum sequence length는 128이고 batch size는 512라서 배치 마다의 tokens의 수는 512 x 128 = $2^{16}$ tokens로 pre trainig 단계와 동일한 수의 토큰을 학습한다. lr의 경우 0.0001로 모든 steps 마다 동일하게 적용한다. 매번 5000 step 마다 checkpoint를 저장한다고 한다.

3.1.3. Vocabulary

SentencePiece를 사용하여 텍스트를 WordPiece tokens로 인코딩한다. 모든 실험에서 32,000 wordpices를 가진다.

즉 Vocab size가 32,000이다.

번역 태스크의 경우 English의 경우 C4에서 10 parts를, 독일어, 프랑스어, 루마니아어의 경우 1 part를 사용한다.

3.1.4 Unsupervised Objective

T5는 C4를 활용해 모델을 사전학습하기 위해 별도의 정답 라벨 없이도 학습 가능한 비지도 학습 objective를 사용해야 했다. 여기서 중요한 점은 이 objective가 단순히 빈칸 채우기를 넘어서 다운스트림 태스크에 도움이 될 수 있는 일반적인 언어 지식을 학습할 수 있게 해야한다는 것이다.

기존 전이학습 연구에서는 언어 모델링(objective) 특히 causal launguage modeling을 활용해 다음 토큰을 예측하는 방식으로 사전학습을 진행해 왔다.(GPT) 하지만 이후에 denosing objective(= 마스킹된 언어 모델링)이 성능이 더 뛰어나다는 것이 밝혀졌고 이는 BERT에서 대표적으로 사용되었다.

T5의 Denoising objective : span corruption

T5는 BERT의 마스킹 아이디를 착안해서 denoising objective를 사용한다.

입력 문장에서 15%의 토큰을 무작위로 선택해 drop한다.
연속적으로 drop된 단어들은 하나의 덩어리(span)로 취급한다.
각 span은 <extra_id_0>, <extra_id_1> .. 같은 고유한 setinel token으로 대체된다.
모델의 출력은 drop된 원래 토큰들로 구성되며 해당 부분도 sentinel 토큰으로 구분된다.

Figure 2.

“Thank you for inviting me to your party last week.”

여기서 예를 들어 "for", "inviting", "last"라는 세 단어가 마스킹 대상으로 선택되었다고 해봅시다.

"for"와 "inviting"은 연속된 단어이기 때문에 하나의 span으로 묶어 <extra_id_0>로 대체합니다.
"last"는 별도의 단어이므로 <extra_id_1>로 대체됩니다.

✅ 변환 결과

입력 (Input)

"Thank you <extra_id_0> me to your party <extra_id_1> week."

출력 (Target)

<extra_id_0> for inviting <extra_id_1> last <extra_id_2

여기서 <extra_id_2>는 출력의 끝을 알리는 sentinel입니다.

masking은 단어가 아닌 연속된 문장 조각(span) 단위로 수행
BERT처럼 입력에서 마스킹된 토큰을 예측하는 게 아니라 출력에서 drop된 토큰을 생성한다.
입력과 출력이 완전히 분리된 Encoder-Decoder 구조에 적합
sentinel 토큰은 단순한 마스크 토큰이 아니라 drop된 위치를 명시적으로 가리키는 식별자이다.

이 방식은 일반적인 단어 복원보다 더 어려운 언어 이해 능력을 요구하며, 번역, 요약, 질문 응답 등 생성형 작업에도 잘 맞는 사전학습 목적이 된다. 또한, 전체 시퀀스를 예측하지 않고 drop된 부분만 예측하기 때문에 학습 효율도 높다.

T5의 사전학습 objective는 BERT의 마스킹 방식을 확장한 span corruption 방식의 denosing objective이다. 문장에서 일부 연속된 단어들을 삭제하고 그 위치에 sentinel 토큰을 넣으며, 모델은 해당 삭제된 단어들은 복원하도록 학습된다. 이 방식은 텍스트 생성 중심의 encoder-decoder 구조와 매우 잘 어울리며 실제로 다양한 다운스트림 태스크에서 좋은 성능을 보인다.

3.1.5 Baseline Performance

Pre-training을 한 다음 fine tuning한 결과가 pre-train 없이 fine-tuning만 한 "No pre-training" 보다 좋은 결과임을 알 수 있다.

Table 1

SQuAD: 사전학습 후 정확도 80.88 / 사전학습 없이 50.31
GLUE 평균: 83.28 (사전학습) vs. 66.22 (비사전학습)
CNN/DailyMail: ROUGE-2-F 19.24 vs. 17.60
EnFr: BLEU 점수 39.77 vs. 39.82 (차이 거의 없음)

3.2 Architectures

Figure 3

Fully-visible Mask

모든 셀이 검은색이다.
- 출력 y₁부터 y₅까지 모든 출력이 전체 입력 x₁~x₅를 다 볼 수 있음
- 이 방식은 Encoder에서 사용되며 전체 입력 시퀀스를 동시에 보고 모든 관계를 학습해야 할 때 사용딘다.
- ex) 문장 인코딩, 요약 입력, 분류 문제 등
모든 입력을 다 참고 가능 → 양방향(bidirectioal) attention
Causal Mask
- 출력 y₁은 x₁까지만 볼 수 있고, y₂는 x₁~x₂까지만, …
- 결국 출력 yᵢ는 x₁부터 xᵢ까지만 볼 수 있음
2번은 미래 정보를 차단하는 auto-regressive decoding 상황에서 사용된다.

예: GPT류 모델, T5의 디코더처럼 왼쪽에서 오른쪽으로 생성하는 모델
- “y₃을 만들 때 x₄나 x₅를 보면 안 되기 때문" → 미래 토큰을 미리 보는 걸 막음
현재 시점 이전까지만 attention 가능 → 오른쪽 정보 차단 = causal (unidirectional)
Causal with prefix
- y₁y₅는 일정한 prefix 영역 (x₁~x₃) 전체를 볼 수 있음
- x₄부터는 causal mask 적용 (즉, 해당 시점까지의 것만 봄)
이 방식은 Refix Language Modeling에 사용된다.
- 예 : “문맥”이나 “설명”을 먼저 주고 그 뒤에 autogressive하게 문장을 생성할 때
- 입력 앞부분은 fully-visible이고 나머지는 causal하게 생성
- T5의 prefix-tuning, prompt learning, few-shot genreation 등에 유용
앞부분은 다보고 이후는 점진적으로 봄 → prefix + causal 결합

3.2.1 Model Structures

Transformer 기반 모델은 구조적으로 다양한데 이들은 구분짓는 핵심 차이는 바로 Self-Attention에서 사용하는 “Mask”의 종류이다. 각 구조는 입력과 출력 사이의 attention 방식에 따라 모델의 표현력과 생성 능력에 영향을 준다.

① Encoder-Decoder 구조 (Fully-visible + Causal)

Encoder는 입력 전체를 볼 수 있는 Fully-visible mask 사용 → 전체 문맥을 이해하는 데 유리
Decoder는 Causal mask 사용 → 미래 토큰을 볼 수 없으며, 출력 시점까지의 입력에만 attention가능
대표적인 구조 seq2seq (예 : 번역)
BERT는 인코더만 따로 사용하며 fully-visible masking 사용

② Decoder-only Language Model (Causal only)

전체 입력-출력 시퀀스를 붙여서 Causal mask로 한 글자씩 예측하는 구조
예 : “translate English to German : That is good. target : Das ist gut.”
입력과 정답을 붙여놓고 순차적으로 생성 → GPT류 모델과 동일
단점 : 입력(prefix)조차 순차적으로 처리되어 충분한 문맥 이해가 어려움

③ Prefix Language Model (Fully-visible prefix + causal target)

prefix(입력 부분)은 Fully-visible mask 사용
Target (출력 부분)은 Causal mask 사용
예 : “translate English to German : That is good. target:” → 이후 “Das ist gut.”를 생성
이 구조는 입력 전체를 한꺼번에 이해한 뒤 자연스럽게 출력을 생성할 수 있다.
BERT처럼 전체 입력에 기반한 분류도 가능하며, output layer가 바로 분류기 역할을 함

구조	Prefix Attention	Target Attention	특징
Encoder-Decoder	Fully-visible (encoder)	Causal (decoder)	전통적 번역/요약 구조
Decoder-only LM	Causal	Causal	GPT류, 순차 생성
Prefix LM	Fully-visible	Causal	T5 방식, 텍스트 입력 후 생성

Causal-only 구조는 문장 생성에는 유리하지만 입력 문맥 이해에는 제약이 있음
Prefix LM 구조는 입력을 충분히 본 뒤 생성 가능해서 분류, 요약, 번역 등 모든 태스크에 적합
BERT와 비슷한 방식으로 분류도 할 수 있으며, Fully-visible prefix 덕분에 문장 전체를 이해할 수 있었다.

T5는 Prefix Language Model 구조를 채택하여 입력 전체를 완전히 이해한 뒤 출력은 순차적으로 생성하는 방식으로 기존 GPT나 BERT 보다 더 유연하게 다양한 text-to-text 태스크에 대응할 수 있었다.

Figure 4

각 블록 : 입력(x) 또는 출력(y)에 해당하는 토큰
선(연결선) : 해당 토큰 간 attention 가능 여부를 의미함
- 진한 회색 선 : fully-visible (모든 입력을 참조할 수 있음)
- 연한 회색 선 : Causal (미래 토큰은 참조 불가능)

왼쪽 : Encoder-Decoder 구조 (전통적인 Transformer)

아키텍처 : 입력(x)은 Encoder로, 출력(y)는 Decoder로 구성
마스킹 :
- Encoder는 fully-visible → 입력 전체를 서로 참조 가능
- Decoder는 causal → 출력은 이전 토큰만 보고 생성
- Encoder-Decoder Attention도 존재 (입력 참조 가능)
활용 예시 : 번역, 요약, 질문 응답 등 대부분의 seq2seq 과제

BERT는 이 중 Encoder만 따로 사용하는 구조임

가운데 : Language Model (GPT류)

아키텍쳐 : 인코더-디코더 분리 없이 단일 Transformer layer stack
입력과 출력 전체를 하나의 시퀀스로 이어 붙임
- 예 : "translate English to German: That is good. target: Das ist gut.
마스킹 : causal mask만 사용 → 한 글자씩 순차적으로 생성
제한점 : prefix 문장조차 순차적으로 처리되므로 입력 문맥 파악이 제한적

GPT, GPT-2, GPT-3와 같은 모델이 이 구조 사용

오른쪽 : Prefix LM (T5 스타일)

아키텍쳐 : 단일 layer stack 구조지만, 입력과 출력은 분리하여 다룸
마스킹 :
- Prefix 부분(입력)은 fully-visible → 입력 전체를 자유롭게 참조
- Target 부분(출력)은 causal → 순차적으로 생성
활용 예시: T5, UniLM, FLAN, mT5 등
→ 다양한 text-to-text 과제에 적합 (분류, 번역, 요약 등)

3.2.2 Comparing Different Model Structures

Transformer 기반 모델은 구조에 따라 인코더-디코더 방식, 디코더만 사용하는 방식(GPT) 또는 prefix를 활용하는 방식(T5)으로 나뉜다. 하지만 이들을 실험적으로 비교하려면, 어떤 기준으로 "동등하다"고 볼 수 있는지를 먼저 정의해야 한다.

모델 간 파라미터 수를 같게 맞출 수도 있고, 또는 주어진 입력-출력 쌍을 처리할 때 드는 계산량(FLOPs)을 기준으로 비교할 수도 있다. 문제는 이 두 기준이 서로 일치하지 않는다는 점이다.

Encoder-Decoder 구조는 인코더와 디코더 각각 L층씩 사용하므로 총 2L층이다. 파라미터 수로 보면 이는 디코더-only 구조(GPT)에서 2L층과 비슷하다. 하지만 실제 계산량은 다르다. GPT는 입력과 출력을 모두 한 스택에 통과시키기 때문에, Encoder-Decoder의 L+L층과 계산량이 거의 같다. 실험 결과도 두 구조 간 학습 속도(step time)가 거의 비슷함을 보여준다.

이를 바탕으로 논문에서는 공정한 비교를 위해 여러 구성을 정의했다 기본 Encoder-Decoder 모델, 인코더-디코더가 파라미터를 공유하는 구조(T5가 여기에 해당), 계산량을 줄인 경량 구조, 디코더-only 구조(GPT), 그리고 prefix를 활용한 구조(T5 스타일의 Prefix LM) 등을 서로 비교할 수 있도록 정리했다.

이렇게 정리하면 서로 다른 구조의 Transformer 모델들이 어떤 방식으로 성능이나 효율성을 달리하는지 보다 객관적으로 비교할 수 있게 된다.

table 2

section 3.2.2에서 설명한 다양한 아키텍처 변형(architectural variants)의 성능을 보여준다.

P를 “12층(base Transformer layer 스택의 파라미터 수”
M을 “encoder-decoder 모델이 하나의 시퀀스를 처리하는 데 필요한 FLOPs(연산량)”으로 정의한다.

각 아키텍처는 다음 두가지 사전학습 목적(objective)을 통해 평가되었다.

Denoising objective (Section 3.1.4에서 설명됨) : 일부 입력 마스킹하고 복원하는 방식
Language Modeling objective : 일반적으로 언어 모델을 학습할 때 사용되는 순차 생성 방식

3.2.3 Objectives

비교하는 학습 objective 는 2가지이다.
- Language Modeling (LM) : 입력 시퀀스를 순차적으로 예측 (GPT)
- Denosing Objective : 입력 중 일부 span을 마스킹하고 복원 (BERT/T5)
모델 구조에 따라 objective를 맞춰 사용 :
- Encoder-Decoder / Prefix LM : prefix와 target으로 나눠서 사용
- LM 구조에는 input과 target을 붙여서 하나의 시퀀스로 학습

3.2.4 Results

Encoder-Decoder + Denoising이 대부분 태스크에서 최고의 성능을 보임 → 특히 SQuAD, GLUE, SuperGLUE, 번역에서 가장 우수함
파라미터를 공유한 Encoder-Decoder(shaere)는 성능이 거의 비슷하면서도 파라미터 수는 절반 → 매우 효율적
층 수를 줄인 모델(6층씩)은 성능이 명확히 하락함 → 과도한 경량화는 성능 손해
디코더 only 언어 모델(LM 구조)은 denoising을 쓰든, LM objective를 쓰든 성능이 낮음
전체적으로 Denoising objective가 LM objective 보다 항상 성능이 뛰어남 → 이는 이전 연구(BERT, Lample, Voita 등)들과도 일치함
- Best 조합 : Encoder-Decoder + Denoising
- Good trade-off : Shared Encoder-Decoder + Denoising (파라미터 절반에 접근 성능)
- Denoising > Language Modeling : 모든 구조에서 공통된 결과
- Prefix LM도 나쁘지 않지만, encoder가 있는 구조가 더 효과적임

3.3 Unsupervised Objectives

실험 방식 개요

모든 실험은 라벨이 없는 텍스트 데이터에서 가져온 한 문장(span)을 토큰 ID 시퀀스로 변환하여 시작한다.
이 토큰 시퀀스를 변형하여 손상된 입력 시퀀스(corrupted input)와 “정답 시퀀스(target)” 쌍을 만든다.
그리고 이 입력-출력 쌍을 사용해 모델이 MAximum Likelihood Estimation(MLE) 방식으로 학습되도록 한다.
즉, 모델이 손상된 입력을 보고 정답 시퀀스를 생성할 수 있도록 훈련하는 구조이다.

왜 다양한 objective가 필요한가?

각기 다른 objective는 모델로 하여금 언어의 다른 측면을 학습하도록 유도한다.

예를 들어 언어 모델링은 문장을 생성하는 능력을 키우고
마스킹된 토큰 복원(BERT)은 문맥 기반 이해 능력을 강화하며
Span-level prediction(T5)은 문장 구조와 의미의 일관성을 함께 학습할 수 있게한다.

T5의 실험은 다양한 unsupervised objective들을 text-to-text 형식으로 일반화하여 실험했고, 이로부터 어떤 학습 방식이 실제로 모델 성능에 가장 큰 영향을 주는지를 분석한다.

3.7 putting It All Together

Objective 변경

기존 baseline에서 사용했던 i.i.d. denoising objective 대신 SpanBERT에서 영감을 얻은 span-corruption objective로 교체했습니다.

평균 span 길이는 3, 전체 문장의 15%를 마스킹한다. 이방식은 target 시퀀스를 짧게 만들 수 있어서 계산 효율이 높다.
학습량 32배 증가

T5는 baseline보다 훨씬 오래 학습한다.

약 1조 개의 토큰으로 pre training을 진행하며 이는 BERT의 4배, XLNet의 16배, RoBERTa의 64배 수준이다. 반복 학습을 피하기 위해 대큐모 크롤링 데이터셋인 C4를 계속 사용했다.
모델 크기 다양화

총 5가지 크기의 모델을 실험했다.
- Small (60M 파라미터)
- Base (220M)
- Large (770M)
- 3B (약 28억 개)
- 11B (약 100억 개)
특히 3B/11B FFN의 크기를 대폭 늘려 TPU 환경에서 효율적인 연산을 유도함
Multi-task Pre-training 도입

단일 objective 만으로 학습하지 않고 여러 NLP 태스크를 혼합해 학습하는 multi-task pre-training을 도입했다. 이렇게 하면 학습 중간에도 downstream 성능을 관측할 수 있으며 overfitting 완화된다.
GLUE/SuperGLUE Fine-tuning 전략 변경

기존에는 여러 태스크를 합쳐 한 번에 fine-tuning했지만 성능 향상을 위해 개별 task마다 따로 fine-tune 했다. 특히 데이터가 적은 task에서는 배치 사이즈를 8로 줄이고 checkpoints를 더 자주 저장해 과적합을 방지했다.
Beam Search 사용

CNN/DM 요약 WMT 번역과 같은 길이가 긴 출력에는 beam width = 4, length penalty = 0.6 설정으로 beam search를 사용해 더 나은 결과를 얻었다.
테스트 세트 결과 보고

이제는 validation이 아닌 공식 test set 결과를 사용한다. SQuAD의 경우 11B 모델은 서버 리소스 부족으로 validation 기준 결과만 사용되었지만, 타 모델과의 비교는 여전히 가능했습니다.

4. Reflection : T5의 통찰과 향후 전망

T5 논문은 방대한 실험을 통해 어떤 사전학습 구조와 전략이 효과적인지 체계적으로 탐구해왔다. 이 마지막 장에서는 그 과정에서 얻은 핵심 통찰들을 정리하고 앞으로 NLP에서 전이학습(transfer learning)이 나아갈 방향을 제시한다.

Text-to-Text의 단순함과 강력함

T5는 모든 nlp문제를 텍스트 입력 → 텍스트 출력으로 바꾸자는 단일
프레임워크를 제안했다.

이 단순한 구조만으로도 요약, 분류, 회귀 등 다양한 태스크를 커버할
수 있었고, task-specific 모델과 비교해도 성능이 밀리지 않았다.
모델 하나로 모든 태스크를 통합할 수 있다는 점은 큰 장점이다.
Encoder-Decoder 구조의 우수성

T5는 다양한 구조를 비교할 끝에 기존 Transformer의 인코더-디코더 구조가 가장 효과적이라는 결론에 도달했다. 물론 이 구조는 파라미터 수가 encoder-only나 decoder-only 모델보다 많지만 실제 계산량은 유사했고 성능은 더 우수했다. 특히 인코더와 디코더의 파라미터를 공유해도 큰 성능 저하 없이 모델을 경량화할 수 있다는 것도 중요한 발견이다.
Denoising Objective의 효율성

BERT-sytle 마스킹부터 span corruption까지 다양한 denoising objective를 실험했으며 대체로 성능은 유사했다. 하지만 짧은 target을 생성하는 방식이 연산 효율 면에서 유리하므로 추천할 만하다.
데이터 셋 : C4의 가치

웹에서 크롤링한 Common Crawl을 정제한 C4 데이터셋은 방대한 양과 도메인 다양성을 기반으로 범용 사전학습에 적합했다. 물론 특정 task 대해 in-domain 데이터가 더 좋을 수는 있지만 도메인 데이터셋을 반복 학습하면 오히려 성능이 떨어질 수 있기에 크고 다양한 데이터를 사용하는 것이 유리하다는 결론에 도달했다.
학습 전략

fine-tuning 시 모든 파라미터를 업데이트하는 방식이 일부만 업데이트하는 방식보다 더 좋은 성능을 냈다. multi-task learning에서도 비율 조절이 어렵긴 했지만 pre-train + fint-tune 구조와 비슷한 성능을 내는 방식도 가능했따.
스케일링의 중요성

모델크기, 학습 데이터 양, 모델 앙상블 모두 성능을 높이는 데 도움이 되었다. 특히 작은 모델을 오래 학습하는 것보다 큰 모델을 짧게 학습하는 쪽이 더 효과적이었다. 다만 파라미터 공유 없이 완전히 독립적인 모델로 앙상블을 구성할 때 가장 큰 성능 향상을 얻을 수 있었다.
11B 파라미터 모델을 포함한 대규모 실험은 24개의 태스크 중 18개에서 sota 성능을 기록했다.

C4 데이터, span corruption방식, multi-task pre-trianing을 종합적으로 적용해 뛰어난 성과를 냈다.

4.2 향후 전망 (Outlook)

큰 모델이고 불편하지만 성능이 좋다

당연하게도 큰 모델일 수록 성능이 좋았지만 모든 환경에서 대형 모델을 쓸 수 는 없었다. 특히 클라이언트 측 추론, 모바일 환경, federated learning, 저자원 상황에서는 경량화된 모델이 필수이다. 따라서 distillation, 파라미터 공유, 조건부 계산 등 효율성 연구가 계속되어야 한다.

더 나은 지식 학습 방식이 필요하다

현 시점의 사전학습 방식은 기본적으로 마스킹된 span을 복원하는 단순한 방식이다. 하지만 이것이 과연 지식을 가장 효율적으로 학습하는 방식인지는 의문이다. 앞으로는 더 적은 토큰으로 더 많은 지식을 학습하는 사전학습 objective가 필요하다. 예를 들어 진짜 문장과 생성된 문장을 구분하는 방식도 하나의 대안이 될 수 있다.

task 간 유사성에 대한 이론 정립 필요

in-domain 데이터가 효과적이라는 건 자명하지만 태스크 간 유사성에 대한 정량적 정의가 부족하다. 앞으로는 어떤 pre-training task가 어떤 downstream task에 효과적인지를 정규화된 거리로 설명할 수 있어야한다.

언어 비의존적인 모델의 필요성

T5는 영어만으로 pre-training을 했기 때문에 다국어 번역에서는 성능이 부족했습니다.

세계 대부분의 사용자가 영어를 쓰지 않기 때문에, 앞으로는 언어에 구애받지 않는 모델 (language-agnostic model) 개발이 중요합니다.

마무리

T5 논문은 단순히 하나의 모델을 제안하는 데 그치지 않고, NLP에서 transfer learning이 어떻게 작동하는지에 대한 정교한 실험적 탐구의 결과물입니다.

단순하면서도 강력한 text-to-text 프레임워크, 대규모 정제 데이터셋인 C4, 그리고 실험을 통해 도출한 objective와 구조적 선택들은 이후 등장한 많은 모델들에게 영감을 주었습니다.

T5는 하나의 모델이라기보다, "NLP 모델을 어떻게 만들고 키워야 하는가"에 대한 하나의 철학이자 전략이라고도 할 수 있습니다.

앞으로도 transfer learning은 범용 언어 이해로 향하는 중요한 발판이 될 것이며, T5는 그 길을 밝힌 이정표 중 하나로 기억될 것입니다

홍선재

이전 포스트

You Only Look Once: Unified, Real-Time Object Detection

다음 포스트