✏️학습 정리

---

6. 모델 불러오기

• model.save()

  • 학습의 결과를 저장하기 위한 함수
  • 모델 형태(architecture)와 파라메터를 저장
  • 모델 학습 중간 과정의 저장을 통해 최선의 결과 모델을 선택
  • 만들어진 모델을 외부 연구자와 공유하여 학습 재연성 향상

• checkpoints

  • 학습의 중간 결과를 저장하여 최선의 결과 선택

  • earlystopping 기법 사용시 이전 학습의 결과물을 저장

  • loss와 metric 값을 지속적으로 확인 저장

  • 보통 epoch, loss, metric을 같이 저장

    

• Transfer Learning
  • 다른 데이터셋으로 만든 모델을 현재 데이터에 적용
  • 일반적으로 대용량 데이터셋으로 만들어진 모델의 성능이 높다
  • backbone architecture가 잘 학습된 모델에서 일부분만 변경하여 학습을 수행함
  • Freezing 사용

    • pre-trained model 활용시 모델의 일부분을 frozen 시킴

      

7. Monitoring Tools for Pytorch

• Tensorboard

  • TensorFlow의 프로젝트로 만들어진 시각화 도구
  • Pytorch 연결 가능
  • 학습 그래프, metric, 학습 결과의 시각화 지원
    • scalar: metric등 상수 값의 연속(epoch)을 표시
    • graph: 모델의 computational graph 표시
    • histogram: weight등 값의 분포를 표현
    • Image: 예측 값과 실제 값을 비교 표시
    • mesh: 3d 형태의 데이터를 표현하는 도구

• weight & biases

  • 머신러닝 실험을 원활히 지원하기 위한 상용도구
  • 협업, code versioning, 실험 결과 기록 등 제공
  • MLOps의 대표적인 툴로 저변 확대 중