# TAPT

1개의 포스트
post-thumbnail

[TAPT, DAPT] - Don't Stop Pretraining. Adapt Language Models to Domains and Tasks.

BERT와 GPT 이후에 수많은 사전학습 모델이 쏟아져 나왔다. 제각기 다른 데이터셋과 다른 목적함수, 모델 구조를 가지고 학습이 되었지만 한가지 동일한 것이 있었다. Pretrain -> Finetune으로 이어지는 프레임워크였다. 이는 사전학습 시에 가능한 대량의

2022년 4월 2일
·
0개의 댓글
·