출처: https://roytravel.tistory.com/162
상당히 정리가 잘 되어 있는 글을 발견했다.
BERT, GPT가 나오기까지 transformer가 무엇인지 Pre-training이 뭔지, transfer learning의 종류, fine-tuning이 뭔지
업스트림 태스크 - 대규모 말뭉치를 학습하는 것, = pre-training. 대표적인 태스크: NSP, MLM
다운스트림 태스크 - 실제로 구체적으로 풀고자 하는 문제를 수행하는 것. 대표적인 태스크: SC, NLI, NER, QA, SG
다운스트림 태스크의 3가지 방법
파인튜닝 (fine-tuning)
다운스트림 태스크 데이터 전체를 사용하는 것으로, 모델 전체를 업데이트 하는 것이 특징이다. 단점으로는 언어 모델이 크면 클수록 모델 전체 업데이트에 필요한 계산 비용이 발생한다. 이러한 단점으로 인해 프롬프트 튜닝과 인컨텍스트 러닝이 주목을 받는다.
프롬프트 튜닝(prompt tuning)
다운스트림 태스크 데이터 전체를 사용해서 모델을 일부 업데이트 하는 방법을 의미한다.
인컨텍스트 러닝(in-context learning)
다운스트림 태스크 데이터 일부만 사용하는 방법으로 모델을 업데이트하지 않고 다운스트림 태스크를 수행하는 방법이다. 인컨텍스트 러닝은 크게 3가지 방식으로 나뉜다. 제로샷 러닝(zero-shot learning), 원샷 러닝(one-shot learning), 퓨샷 러닝(few-shot learning)이다.
제로샷 러닝: 다운스트림 태스크 데이터를 전혀 사용하지 않고 모델이 바로 다운스트림 태스크를 수행하는 것이다.
원샷 러닝: 다운스트림 태스크 데이터를 1건만 사용하는 것을 의미한다. 모델이 1건의 데이터가 어떻게 수행되는지 참고한 뒤 다운스트림 태스크를 수행한다.
퓨샷 러닝: 다운스트림 태스크 데이터를 몇 건만 사용하는 것을 의미한다. 모델은 몇 건의 데이터가 어떻게 수행되는지 참고한 뒤 다운스트림 태스크를 수행한다.
