# Pretrain
총 3개의 포스트
[TAPT, DAPT] - Don't Stop Pretraining. Adapt Language Models to Domains and Tasks.
BERT와 GPT 이후에 수많은 사전학습 모델이 쏟아져 나왔다. 제각기 다른 데이터셋과 다른 목적함수, 모델 구조를 가지고 학습이 되었지만 한가지 동일한 것이 있었다. Pretrain -> Finetune으로 이어지는 프레임워크였다. 이는 사전학습 시에 가능한 대량의
2022년 4월 2일
·
1개의 댓글·
1
[GPT-2] Language Models are Unsupervised Multitask Learners
GPT-1의 마지막 파트를 살펴보면 pretrain된 모델이 downstream task에 대해 학습되지 않은 상태에서 각 태스크에 대해 어느 정도의 성능을 보이는지 측정한 파트가 있다. 매우 단순하게 pretrain이 실제로 다양한 downstream task를 수행
2022년 3월 22일
·
0개의 댓글·
0
[GPT-1] Improving Language Understanding by Generative Pre-Training
최근 몇년간 NLP를 휩쓴 모델 두 가지만 이야기해보라고 하면 단연 GPT 시리즈와 BERT를 꼽을 것이다. BERT는 특유의 NLU 친화적인 모델구조로 인해 다양한 태스크에 쉽게 적용될 수 있어 무척 많은 연구들이 쏟아져 나왔다. 이에 비해 GPT의 경우 OpenAI
2022년 3월 15일
·
0개의 댓글·
0