linear probing VS fine-tuning

Linear Probing과 Fine Tuning은 둘 다 사전 훈련된 모델을 사용하여 특정 작업에 적용하기 위한 방법

Linear Probing

• Linear Probing은 사전 훈련된 모델의 가중치를 고정시키고, 모델의 마지막에 새로운 선형 분류기(보통은 단일 계층의 신경망)를 추가하여 학습
• 계산 비용이 낮고, 사전 훈련된 모델이 갖고 있는 일반적인 특징을 활용할 수 있다는 장점
• 그러나, 모델의 나머지 부분이 새로운 작업에 맞게 조정되지 않기 때문에 성능이 제한

Fine Tuning

• Fine Tuning은 사전 훈련된 모델의 가중치를 새로운 데이터셋에 맞게 전체적으로 조정하는 방법
• 이 경우, 모델의 모든 또는 일부 가중치가 새로운 작업의 데이터에 맞게 업데이트
• 성능이 향상될 가능성이 높지만,
• 오버피팅의 위험도 있고 계산 비용도 더 많이 듦

비교

• 목적: Linear Probing은 사전 훈련된 모델의 강력한 특징 추출 능력을 빠르게 활용하고자 할 때 사용합니다. 반면, Fine Tuning은 사전 훈련된 모델을 새로운 작업에 더 밀접하게 맞추고자 할 때 사용합니다.
• 성능: Fine Tuning은 모델을 작업에 더 잘 맞추기 때문에 일반적으로 더 높은 성능을 달성할 수 있지만, 데이터가 충분하지 않거나 학습 시간이 제한적일 때는 Linear Probing이 더 유리할 수 있습니다.