GPT 역사

Generative Pre-trained Transformer

GPT-3 부터 LLM

ChatGPT 출시 2일만에 1억명의 사용자를 모음.

역사

GPT-1(2018.6) , 176M, 다음 단어 예측 기반

GPT-2(2019.2) , 1.5B, 1에 비해 규모가 커져서 더 자연스러운 문장, 요약, 번역

GPT-3(2020.5) , 175B, 이 시점에서 Pre-train 모델에서 Large Language 모델로 바뀜, IN-CONTEXT LEARNING

CODEX(2021)를 통해 코드를 LLM에 적용 시 더 성능이 좋아짐을 확인, 수학/코딩 문제도 풀게되었음.

GPT-3.5(2022.3)

GPT-3.5-turbo(2023.3) 2021.11월 이전의 데이터로 학습되었음

GPT-4(2023.3) 1.76T, 할루시네이션 완화를 위한 전략 구성(RED TEAMING), Vision데이터도 처리가능한 멀티모달

GPT-4-turbo(2023.9)

2024.1 중간에 생성을 취소하는 모델도 나옴.

GPT-4o(2024.5)