# in-context learning
On the Effect of Pretraining Corpora on In-context Learning by a Large-scale Language Model
On the Effect of Pretraining Corpora on In-context Learning by a Large-scale Language Model, NAACL 2022
GPT in action - 1. chatGPT 로 만드는 지능형 챗봇
최근 저희 팀에서는 GPT 의 fine tuning 에 앞서 GPT 의 In-context learning 을 활용하여 별도의 fine tuning 없이 활용하는 방법도 시도해보고 있습니다. 이러한 방법은 여러모로 장점도 많고, 실제로 잘 동작하는것으로 평가하고 있습니
GPT fine-tuning - 7. glossary
🐰 Dongyoung:gpt 학습에 있어 pre-train, fine-tuning, in-context learning 을 설명해줘🦄 ChatGPT:GPT (Generative Pre-trained Transformer)는 대표적인 언어 모델 중 하나로, 전체적인
GPT fine-tuning - 5. in-context learning
in-context learning 프롬프트의 내용만으로 하고자 하는 task 를 수행하는 작업입니다. 말 그대로 prompt 내 맥락적 의미(in-context)를 모델이 이해하고(learning), 이에 대한 답변을 생성하는것을 의미합니다. 즉 in-context
The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design
The Inductive Bias of In-Context Learning: Rethinking Pretraining Example Design, ICLR 2022
GPT-3 파인튜닝
Large scale 모델의 전체 파라미터를 튜닝하는 것은 많은 비용을 발생새로운 방법론인 In-context Learning, P-tuning, LoRA을 알아보자Few Shot별도의 gradient update 가 없음 (즉, 학습이 없음)Prompt enginee