BERT와 GPT의 등장은 각각 '이해'와 '생성'의 두 큰 강을 만들었고, 그 이후 모델들은 그 강을 더 넓히거나, 더 길게 흐르게 하거나(더 많은 데이터 학습), 더 싸게 흐르게 하거나(더 빠른 속도, 더 적은 메모리), 다른 모달리티까지 연결한 것(멀티 모달)이라고 할 수 있다.
초기 GPT는 decoder-only 방향의 대표 주자였다. 핵심은 왼쪽 문맥만 보고 다음 토큰을 예측하는 자기회귀 언어모델이었고, 대규모 비지도 Pretraining 뒤 각 작업에 맞게 Fine-Tuning하는 방식을 보여줬다. 이 계열의 장점은 텍스트를 자연스럽게 이어 쓰는 능력(생성력)이다.
BERT는 반대로 encoder-only 방향의 대표 주자였다. 마스킹된 토큰을 맞히는 방식으로 좌우 문맥을 함께 보는 양방향 표현학습(Bidirectional) 을 했고, 문장분류, 개체명 인식, 질의응답처럼 '읽고 판단하는' 작업에서 엄청난 성능을 발휘했다. BERT 계열은 '잘 읽는 모델'의 기준점을 세웠다고 할 수 있다.
이에 따라 Transformer 모델의 발전사는 세 갈래로 나뉜다. 하나는 BERT 계열(더 잘 이해하게 만들기), 다른 하나는 GPT 계열(더 잘 생성하게 만들기), 그리고 중간에서 둘을 섞은 encoder - decoder 계열이 등장한다. Hugging Face도 이 세 축을 각각 AutoModel, AutoModelForCausalLM, AutoModelForSeq2SeqLM 같은 클래스로 나눠 다룬다.
BERT 계열
1. RoBERTa
BERT가 파격적인 성능을 발휘하자, 연구자들은 '아키텍처를 완전히 바꾸지 않아도, pretraining 방식을 잘 다듬으면 성능이 더 좋아지지 않을까?'라는 관점에서 개선을 시도한다. RoBERTa는 BERT가 충분히 잘 훈련되지 않았다는 점을 보여주면서, 더 긴 학습, 더 큰 배치, 동적 마스킹, 더 나은 데이터 처리만으로 성능을 끌어올렸다.
2. DistilBERT와 ELECTRA
그 다음은 효율 전쟁이었다. DistilBERT는 지식증류로 BERT의 크기를 줄여 더 빠르고 가볍게 만들었고, ELECTRA는 마스크 토큰을 복원하는 대신 '이 토큰이 바꿔치기된 가짜인지'를 판별하게 만들어 pretraining 효율을 크게 높였다. 이는 같은 연산량으로 더 많은 학습 신호를 뽑아내려는 시도였다.
3. DeBERTa
DeBERTa 계열은 단어 내용과 위치 정보를 더 정교하게 분리해서 attention을 계산하고, 마스크 복원도 개선하였다.
GPT 계열
GPT-2에서 크기를 키우고 데이터를 늘리면, 명시적 supervised fine-tuning 없이 zero-shot multitask behavior가 나타난다는 것을 강하게 확인한 연구자들은 연구의 중심축을 task-specific head에서 prompt와 scaling으로 돌렸다.
GPT 계열의 진화는 세 단어(스케일링, 지시 따르기, 대화화)로 요약할 수 있다. 모델을 더 크게 만들고, 더 긴 문맥을 보게 하고, instruction tuning이나 chat tuning으로 '사람이 시키는 방식'에 맞게 다듬는 방향이다.
GPT에서 나타난 중요한 설계 변화는 RoPE(Rotary Position Embedding)와 같은 위치표현이다. RoPE를 도입해 더 긴 문맥과 상대적 위치 관계를 더 자연스럽게 다루도록 했고, 이는 긴 컨텍스트 시대의 바닥재를 깔아준 셈이라고 볼 수 있다
Encoder - Decoder (T5와 BART)
번역, 요약, 문서 변환 같은 작업은 읽고 다시 쓰는 구조의 Seq2Seq Transformer가 자연스러울 수밖에 없다. 따라서 Hugging Face에서도 Encoder-Decoder 구조를 가지는 모델들이 요약과 번역에서 아주 중심적인 자리를 차지한다.
T5(Text-to-Text Transfer Transformer)의 핵심 아이디어는 '모든 NLP를 text-to-text로 통일하자'였다. 분류, 번역, 요약 작업을 모두 생성처럼 같은 인터페이스로 다루자는 발상이다. 이는 문제 정의 자체를 통일해버린 사건이었고, T5 계열은 많은 downstream 작업의 기본축이 되었다.
BART는 또 다른 방향으로 접근하였는데, BERT식 이해와 GPT식 생성을 결합한 Seq2Seq Denoising 모델로, 문장을 섞거나 토큰을 지운 뒤 원문을 복구하게 학습한다. 그래서 요약, 문장 재작성, 생성형 Q&A 같은 입력을 이해한 뒤 자연스럽게 다시 쓰는 작업에 강하다.
