요즘 딥러닝 모델은
-기술을 Leading하는 몇몇 기관에서
-거대한 데이터를 사용하여
-미리 크기가 큰 Deep learning model을 학습하고(이를 Pre-trained model이라고 함)
-일반 사용자들을 위해 이를 배포하는
형식으로 발전이 이루어지고 있다.

그럼 이제 사용자들은 이렇게 사전 학습된 모델(Pre-trained model)을 가져와서
각자 적용할 데이터에 맞게 Tuning한다.

Transfer learning

• 학습된 모델을 기반으로 최종 출력층을 바꿔 학습하는 기업
• 학습된 모델의 최종 출력층을 보유 중인 데이터에 대응하는 출력층으로 바꾸고,
• 교체한 출력층의 결합 파라미터(그릭고 앞 층의 결합 파라미터)를 소량의 데이터로 다시 학습
• 입력층에 가까운 부분의 결합 파라미터를 변화시키지 않음!

Fine tuning

• 출력층 등을 변경한 모델을 학습된 모델을 기반으로 구축한 후,
• 직접 준비한 데이터로 신경망 모델의 결합 파라미터 학습
• 결합 파라미터의 초깃값은 학습된 모델의 파라미터 사용
• 전이학습과 달리, (출력층 및 출력층에 가까운 부분 뿐 아니라) 모든 층의 파라미터 재학습