Transfer Learning(전이학습)

1. Transfer Learning(전이학습)

• pre-trained 된 모델을 사용하여 다른 task를 해결

• CNN 모델의 convolutional base 부분에서 낮은 레벨의 layer(input에 가까운 계층)일수록 일반적인 feature를 추출하고, 높은 레벨의 layer(output과 가까운 layer)와 classifier는 구체적이고 특화된 feature를 추출할 것이다

※ 3가지 전략

① 전체 모델을 새로 학습
pre-trained 모델의 구조만 사용
→ 모델을 처음부터 새로 학습하므로 large 데이터셋 필요

② convolutional base의 일부분은 고정시킨 상태로 나머지 layer와 classifier를 새로 학습

데이터셋이 작고 모델의 파라미터가 많다면 과적합 위험이 있으므로 더 많은 layer를 건들지 않고 frozen한다. 데이터셋이 크고 그에 비해 모델의 파라미터가 적다면 과적합 걱정 없이 더 많은 layer를 학습시킨다.

③ convolution base 고정, classifier만 새로 학습
데이터셋이 너무 작을때, 내가 풀고자 하는 task가 pre-trained 모델의 데이터셋과 비슷할때 고려하는 방법

2. Fine-Tuning(미세조정)

• transfer learning의 한 형태로 pre-trained 된 모델을 새로운 데이터셋으로 재학습하여 가중치를 새로운 데이터에 맞게 추가적으로 조정하는 과정

https://towardsdatascience.com/transfer-learning-from-pre-trained-models-f2393f124751