# P-tuning

2개의 포스트
post-thumbnail

GPT fine-tuning - 4. training and fine-tuning

GPT는 trainsformers 의 decoder 를 사용한 autoregressive model 로서, 그 학습은 unsupervised learning, 즉 비지도 학습을 통해 수행됩니다. Transformer decoder 는 입력된 정보로 부터 sequence

2023년 3월 1일
·
2개의 댓글
·
post-thumbnail

GPT-3 파인튜닝

Large scale 모델의 전체 파라미터를 튜닝하는 것은 많은 비용을 발생새로운 방법론인 In-context Learning, P-tuning, LoRA을 알아보자Few Shot별도의 gradient update 가 없음 (즉, 학습이 없음)Prompt enginee

2022년 4월 14일
·
0개의 댓글
·