오늘은 Fine Tuning 배우는 날~

모델 학습 전략

이미 학습되어있는 모델을 활용하는 방법을 파인튜닝이라고 함.

위 그림에서 Dataset Similarity는 다중분류 데이터 셋을 사용했는지 등등을 말하는 거임.

우리가 잘 학습시킨 모델을 평가하기 위해 테스트 셋으로 예측을 할 때, 이런 코드를 적은 적이 있음.

with torch.inference_mode():

이 코드는 이 코드안에 있는 모든 데이터에 대해 requires_grad를 False로 만들어줌.
따라서 학습이 진행이 안되도록 파라미터 업데이트를 하지 못하게 할 수 있는거임.

비슷하게 파인튜닝에서는 일부 레이어에서 파라미터 업데이트를 하지 못하게 하는거임.

잡다

padding = 1, kenel_size = 3 x 3 이 가장 효율적으로 학습시킬 수 있다고한다.

비전쪽 모델은 MobileNet처럼 모델 파라미터 수가 적으면서 정확도가 높은 모델을 주로 사용한다.
왜냐하면 스마트폰, 스마트팩토리 등의 소형 컴퓨터에 들어가야하기 때문이다.
MobileNet은 덧셈 연산을 수행하는 부분이 있기 때문에 학습/예측의 속도가 빠르다.
성능은 VGG와 비슷한 정도이지만, 모델 파라미터 개수는 그의 절반이다.