# GPT-3

4개의 포스트
post-thumbnail

GPT-3의 모델

GPT-3의 접근 방법은 기존의 GPT-2의 모델, 학습데이터, 학습 방법 등에서 유사하다. 거기서 확장하여, 모델의 사이즈와 데이터의 사이즈를 확대했으며, 데이터의 다양성을 증가했고, 학습 길이도 증가시켰다.

2020년 6월 24일
·
0개의 댓글
post-thumbnail

GPT-3가 보이고 싶은 것

GPT-3는 175억개의 파라미터를 `autoregressive language model` 방식으로 학습하므로써 큰 모델이 in-context learning을 하고, zero, one, few-shot 학습을 통해 파인튜닝만큼의 성능을 실험해보고자 했다.

2020년 6월 19일
·
0개의 댓글
post-thumbnail

사전학습과 파인튜닝 패러다임을 넘어서

GPT-3, 사전학습과 파인튜닝 패러다임을 넘어서

2020년 6월 17일
·
0개의 댓글
post-thumbnail

GPT-3 들어가기 전에

GPT-3 들어가기 전에

2020년 6월 17일
·
0개의 댓글