🇶 Transfer Learning(전이 학습)이란 무엇이며, 이미지 분류 모델에서 어떻게 활용할 수 있나요?
전이 학습(Transfer Learning)은 이미 특정 분야에서 충분한 데이터를 통해 학습된 모델(Pre-trained Model)의 지식을 새로운 문제에 재사용하는 기법입니다.
쉽게 비유하자면, 피아노를 칠 줄 아는 사람이 첼로를 처음 배울 때, 아예 음악을 모르는 사람보다 악보 보는 법이나 리듬 감각 면에서 훨씬 빠르게 배우는 것과 같습니다. 딥러닝에서도 방대한 데이터셋(예: ImageNet)으로 학습된 모델의 '특징 추출 능력'을 가져와 내 데이터에 맞게 조금만 수정하여 사용하는 방식입니다.
💡 이미지 분류 모델에서의 활용 방법
이미지 분류에서 전이 학습을 활용할 때는 보통 두 가지 전략을 선택합니다.
1. 특성 추출 (Feature Extraction)
기존 모델의 Backbone(특징 추출기) 부분은 그대로 고정(Freeze)시키고, 마지막 분류기(Classifier) 부분만 내 데이터셋의 클래스 개수에 맞게 새로 만들어 학습시키는 방법입니다.
- 언제 사용하나?: 내 데이터셋이 기존 모델이 학습한 데이터와 비슷하지만, 데이터 양이 적을 때 유용합니다.
- 장점: 학습 속도가 매우 빠르고, 적은 데이터로도 높은 성능을 낼 수 있습니다.
2. 미세 조정 (Fine-Tuning)
분류기만 학습시키는 것을 넘어, 기존 모델의 가중치 일부 또는 전부를 내 데이터에 맞춰 다시 학습시키는 방법입니다.
- 언제 사용하나?: 내 데이터셋의 양이 충분히 많거나, 기존 모델이 학습한 데이터와 내 데이터의 도메인이 많이 다를 때 사용합니다.
- 장점: 모델이 내 데이터의 특성에 더 정교하게 맞춰지므로 성능을 극대화할 수 있습니다.
전이 학습의 핵심 단계
- 사전 학습된 모델 선택: VGG, ResNet, EfficientNet 등 검증된 모델을 선택합니다.
- 기존 분류기 제거: 모델 하단(Output Layer)에 있던 기존의 1,000개 클래스 분류기 등을 제거합니다.
- 새 분류기 추가: 내 문제(예: 고양이 vs 강아지 2개 클래스)에 맞는 레이어를 새로 추가합니다. - 학습 전략 결정:
- 초기에는 기존 층을Freeze(동결)하고 새 레이어만 학습시킵니다.
- 필요에 따라 하위 레이어의 동결을 풀고 Fine-Tuning을 진행합니다.
✅ 왜 전이 학습을 써야 할까?
- 시간과 비용 절약: 수천만 장의 이미지를 직접 학습시키려면 엄청난 GPU 자원과 시간이 필요하지만, 전이 학습은 이를 대폭 단축합니다.
- 데이터 부족 문제 해결: 수백 장의 사진만 있어도 수만 장을 학습시킨 것과 유사한 효과를 낼 수 있습니다.
- 검증된 성능: 이미 학계와 업계에서 성능이 입증된 구조를 그대로 가져와 사용할 수 있어 안정적입니다.
📊 언제 어떤 전략을 쓸까?
| 상황 | 추천 전략 |
|---|---|
| 데이터 적음 + 유사 도메인 | Feature Extraction |
| 데이터 적음 + 다른 도메인 | Fine-Tuning (뒤 레이어만) |
| 데이터 충분 + 유사 도메인 | Fine-Tuning |
| 데이터 충분 + 다른 도메인 | Full Fine-Tuning |
