linear probing VS fine-tuning

• Linear Probing과 Fine Tuning은 둘 다 사전 훈련된 모델을 사용하여, 특정 작업에 적용하기 위한 방법

1. Linear Probing

• 사전 훈련된 모델의 가중치를 고정시키고, 모델의 마지막에 새로운 선형 분류기(보통은 단일 계층의 신경망)를 추가하여 학습하는 방법
• 이 방식은 계산 비용이 낮고, 사전 훈련된 모델이 갖고 있는 일반적인 특징을 활용할 수 있다는 장점
• 그러나, 모델의 나머지 부분이 새로운 작업에 맞게 조정되지 않기 때문에 성능이 제한될 수 있음

2. Fine Tuning

• Fine Tuning은 사전 훈련된 모델의 가중치를 새로운 데이터셋에 맞게 전체적으로 조정하는 방법
• 이 경우, 모델의 모든 또는 일부 가중치가 새로운 작업의 데이터에 맞게 업데이트
• 이 방식은 새로운 작업에 모델을 더 잘 맞출 수 있기 때문에 성능이 향상될 가능성이 높지만, 오버피팅의 위험도 있고 계산 비용도 더 많이 듦

3. 비교

• 목적:
  • Linear Probing은 사전 훈련된 모델의 강력한 특징 추출 능력을 빠르게 활용하고자 할 때 사용
  • 반면, Fine Tuning은 사전 훈련된 모델을 새로운 작업에 더 밀접하게 맞추고자 할 때 사용
• 성능:
  • 데이터가 충분하지 않거나 학습 시간이 제한적일 때는 Linear Probing이 더 유리할 수 있음
  • Fine Tuning은 모델을 작업에 더 잘 맞추기 때문에 일반적으로 더 높은 성능을 달성할 수 있음
• 오버피팅:
  • Linear Probing은 모델의 대부분의 가중치를 고정시키기 때문에 오버피팅에 좀 더 강할 수 있습니다.
  • Fine Tuning은 특히 작은 데이터셋에서 오버피팅의 위험이 더 큽니다.

• 즉, Linear Probing은 사전 훈련된 모델의 강력한 특징을 빠르고 간단하게 활용하고 싶을 때 좋은 선택이며,
• Fine Tuning은 새로운 작업에 최적화된 성능을 원할 때, 그리고 충분한 데이터와 계산 자원이 있을 때 적합합니다.