# DAPT

2개의 포스트
post-thumbnail

[논문리뷰 | NLP] Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks (DAPT, TAPT)

대회와 프로젝트를 진행하며 정말 많이 들었던 DAPT와 TAPT. 2020년에 ACL에서 최우수 논문으로 선정되기도 했으나 제대로 읽어본 적이 없어 아쉬웠다. DAPT와 TAPT를 진행하면 성능이 상승된다는 얘기도 들었으나 정확한 구현방식을 알지못해 사용해보지 못했던

7일 전
·
0개의 댓글
post-thumbnail

[TAPT, DAPT] - Don't Stop Pretraining. Adapt Language Models to Domains and Tasks.

BERT와 GPT 이후에 수많은 사전학습 모델이 쏟아져 나왔다. 제각기 다른 데이터셋과 다른 목적함수, 모델 구조를 가지고 학습이 되었지만 한가지 동일한 것이 있었다. Pretrain -> Finetune으로 이어지는 프레임워크였다. 이는 사전학습 시에 가능한 대량의

2022년 4월 2일
·
0개의 댓글