결론 - Downstream Task?
pre-training model 을 사용 시, 어떤 문제를 해결하기 위해 fine-tuning 하는가.
여기서 해결하고자 하는 문제를 Downstream Task 라고 생각하면 된다.
보충 설명
이해를 위한 예시
pre-training model 로 BERT를 사용하고, 문장의 긍정/부정을 판별하기 위해 긍정/부정으로 라벨링 된 문장 데이터를 이용해 fine-tuning 하려고 한다면, 문장의 긍정/부정을 판별 하는 것이 이 경우의 Downstream Task 가 된다.
pre-training, fine-tuning
간단 설명
pre-training : 해결 하고자 하는 문제와 비슷한 문제를 다루는 모델
fine-tuning : pre-training 모델을 기반으로, 해결하고자 하는 문제에 맞춰 학습하는 것
세부 설명
Deep learning 분야에서는, 일반적으로 많은 데이터로 많은 컴퓨팅 자원을 사용해서 학습할수록 성능이 좋다.
여기서 강조했듯, 많은 데이터와 많은 컴퓨팅 자원이 일반적으로 문제가 되는데(성능이 좋은 모델의 경우, 학습에만 수억 이상이 필요하다), 이 부분을 해결하기 위해 나온 해결법이 유사한 문제를 다루는 모델(pre-trained model)을 기반으로 해결하고자 하는 문제(Downstream Task) 를 해결할 수 있도록 추가 학습(fine-tuning) 하는 해결법이다.
