# GPT3

hanakim120

예측에 사용될 인공지능 모델 모델이 생성할 수 있는 최대 토큰 수 (일반적으로 1개의 토큰은 약 4자)확률로 매핑되기 전 모델은 정규화되지 않은 값 (logit)을 출력. 로짓은 일반적으로 소프트맥스와 같은 함수와 함께 사용되어 확률로 변환 됨.소프트 맥스 함수 적용

xdfc1745

인터넷의 모든글을 통해 학습을 시킨 모델이며, transformer의 decoder부분을 사용했다.pretrained language model인데 이는 레이블이 없는 많은 데이터를 비지도 학습 방법으로 학습해서 모델이 언어를 이해할 수 있도록 한 후 특정 task에

nawnoes

GPT-3의 접근 방법은 기존의 GPT-2의 모델, 학습데이터, 학습 방법 등에서 유사하다. 거기서 확장하여, 모델의 사이즈와 데이터의 사이즈를 확대했으며, 데이터의 다양성을 증가했고, 학습 길이도 증가시켰다.

nawnoes

GPT-3는 175억개의 파라미터를 `autoregressive language model` 방식으로 학습하므로써 큰 모델이 in-context learning을 하고, zero, one, few-shot 학습을 통해 파인튜닝만큼의 성능을 실험해보고자 했다.

nawnoes

GPT-3, 사전학습과 파인튜닝 패러다임을 넘어서

nawnoes

GPT-3 들어가기 전에