paper reading
1.Improving Language Understanding by Generative Pre-training(by 안재혁)
The ability to learn effectively from raw text is crucial to alleviating the depedence on supervised learning in natural language precessing(NLP). Mos
2022년 2월 14일
2.Improving Language Understanding by Generative Pre-Training(by 장준영)
GPT1 정리 내용입니다.
2022년 2월 22일
3.XLNet: Generalized Autoregressive Pretraining for Language Understanding(by 안재혁)
factorize 또는 factorization order를 인수 분해라고 해석했는데, 오류일 경우 이 부분을 감안하여 봐주시길 바랍니다.XLNet은 Transformer-XL의 후속 모델이기 때문에, transformer-XL이 가진 고유한 특징을 이해해야 XLNet
2022년 2월 24일
4.XLNet: Generalized Autoregressive Pretraining for Language Understanding(by 강유진)
XLNet: Generalized Autoregressive Pretraining for Language Understanding Abstract BERT와 같이 양방향 문맥을 모델링하는 능력으로 사전학습을 기반으로 한 denoising autoencoding은 a
2022년 3월 3일
5.Don’t Stop Pretraining: Adapt Language Models to Domains and Tasks (by 이원민)
최근 대부분의 NLP 관련 연구에서는 pretrained 모델을 사용본 논문에서는 특정 task와 domain의 data를 pretrain에서 사용하는 것의 유용성에 주목함RoBERTA 모델을 사용하여 실험을 진행RoBERTa는 기존 BERT의 pretrain에서 사용
2022년 3월 2일