이미지를 모델에 입력하기 전 리사이징 & 정규화 하는 이유
- CNN 은 입력 해상도에 따라 특성 맵 크기가 결정됨. 해상도가 크면 연산량과 메모리 사용량이 급증하기 때문에 리사이징(특히 다운사이징)을 통해 컴퓨팅 리소스 사용을 줄일 수 있음.
- 해상도가 너무 크면 미세 패턴까지 학습하는 과적합이 발생할 수 있으나 다운사이징을 통해 이를 어느정도 방지할 수 있음 (덤으로 일반화 성능 향상).
데이터 증강이란?
이미지와 같은 데이터는 이미지를 확대,축소,반전,밝기 및 대조 변경, 회전시켜 만든 추가적인 데이터를 통해 과적합을 방지하고 일반화 성능을 증가시킬 수 있음 (Data Augmentation)
전이학습 (Transfer Learning)
Linear probing
- 학습을 통해 특징을 저장하는 backbone 을 freezing 하고 분류를 위한 마지막 classifier 의 가중치만 재학습하는 방법
- 가장 빠르지만 커스텀 튜닝 성능의 한계가 있음
Partial-Fine tuning
- backbone 중 일부 레이어의 가중치만 재학습
- Linear probing 과 Full-Fine tuning 의 절충안
Full-Fine tuning
- 사전 학습된 가중치에서 시작하지만 모든 가중치의 변경을 허용하여 새롭게 들어오는 데이터 세트에 대해서 추가로 학습하는 방식
- 최적화 성능이 가장 좋지만 반대로 일반화 성능은 떨어질 수 있음
이미지 분류 모델에서 사전학습 모델-전이학습 활용이 중요한 이유
- 대부분의 이미지에서 edge, corner, texture 가 잠재벡터로 학습되기 때문에 backbone 가중치의 재사용성이 높음
- 1번의 이유에서 사전학습 모델이 많음
- backbone + head (classifier) 로 이루어진 모델이 대부분이라 Linear probing 을 통한 빠른 전이학습에 용이함
