전이학습(Transfer Learning)이란?

전이 학습(Transfer Learning)이란?

이미 대규모 데이터셋과 고비용 연산을 들여 학습해 둔 모델이 가진 일반적인 표현(저수준 edge•color•shape, 고수준 feature 등)을 서로 연관된 새 작업에 일부 또는 전부 재사용 / 미세조정(fine-tuning)하여 데이터•시간•자원을 크게 절약하는 기술이다.

이미지 분류 모델에서 어떻게 활용할 수 있나요?

Step

• select a pre-trained model
• Configure pre-trained models
  - Freeze pre-trained layers
  • Remove the last layer
  • introduce new layers
• Train the model for the target domain

방법

• 모델을 불러와 그대로 분류할 데이터 입력 후 분류 진행 (학습X)
• 모델을 불러온 뒤, 최상위 층(분류기)만 용도대로 재설정하여 학습시키는 방법. 이 때 불러온 전이학습 모델은 가중치를 동결해 학습시키지 않고, 분류기, 또는 이후 추가한 Fully-connected layer의 가중치만 학습하여 이용한다.
• Fine Tuning : 2번과 동일하게 진행한 뒤, 동결해 두었던 전이학습 모델의 가중치를 (일부 또는 전부) 학습 가능상태로 만들고 학습시키도록 한다.
  

출처
aws
blog
blog