본격적으로 랩 모임이 시작되었다. 오늘은 랩짱님이 GPT의 구조와 minGPT의 모델코드 리딩을 도맡아 발표했다. 트랜스포머 기반의 구조는 가장 최근의 프로젝트의 핵심 부분이어서 그래도 알아들을 수 있었다.
발표 내용의 키워드를 간단히 기록한다.
Based on Transformer Architecture : decoder only
foundation model
Fine-Tuning & Prompt : 프롬프트 엔지니어링
minGPT
https://github.com/karpathy/minGPT
bpe.py : byte-pair encoding
model.py : GPT model
trainer.py : training code
utils.py : code for configuration, etc.
scaling law
