2024.01.03 DAY70
모델을 처음부터 학습하는 것이 아니라 이미 학습된 weight를 불러와서 학습하는 방법도 있다. 아마 앞으로는 이 방법을 많이 사용하지 않을까싶다.
📝 배운 내용
pre-trained weight 불러오기
- weight들을 사용하여 학습하는 것을 fine-tuning이라고 한다
- 이때 모델의 구조, 순서가 같아야 적용가능하다
- 또한 이미 학습된 weight를 사용하는 것이므로 learning rate가 너무 크면 수렴이 잘 안될 수 있기 때문에 작은 값으로 바꿔주는 것이 좋다
- weight이 저장되어있는 checkpoint 파일을 불러온다
- checkpoint 파일은 dictionary 형식으로 되어있다
- checkpoint['model_state_dict'] 부분을 불러와서 사용한다
