Build A Large Language Model From Scratch
1.Chapter 01. Understanding large language models
LLM의 트랜스포머 아키텍처에 대해서 간단히 알아보자.
2025년 1월 21일
2.Appendix A. Introduction to PyTorch
PyTorch의 간단한 사용법을 알아보자.
2025년 1월 24일
3.Chapter 02. Working with text data
LLM을 위한 입력 데이터를 "준비"하기 위한 데이터 준비 및 샘플링에 대해 다뤄보자.
2025년 1월 28일
4.Chapter 03. Coding attention mechanisms
LLM의 엔진인 attention mechanisms에 대해 다뤄보자.
2025년 1월 30일
5.Chapter 04. Implementing a GPT model from Scratch To Generate Text
GPT 같은 LLM 아키텍처를 구현해보자.
2025년 1월 30일
6.Chapter 05. Pretraining on Unlabeled Data
훈련 루프와 코드를 구현하여 LLM을 사전 훈련해보고, 실제 GPT의 가중치를 모델에 load해보자.
2025년 2월 15일
7.Appendix D. Adding bells and whistles to the training loop
일반적인 pretraining과 finetuning에도 사용되는 고급 기능을 훈련 함수에 추가해보자.
2025년 2월 16일
8.Chapter 06. Finetuning for Text Classification
text 분류를 하는 LLM을 finetuning 해보자.
2025년 2월 18일
9.Appendix E. Parameter-efficient Finetuning with LoRA
LoRA에 대해서 배우고 GPT-2의 Linear Layer를 LoRA Layer로 대체해서 finetuning해보자.
2025년 2월 19일
10.Chapter 07. Finetuning to Follow Instructions [完]
instruction-finetuning을 이용하여 LLM을 finetuning해보자.
2025년 2월 20일