Hyperparameter

• 시스템의 매커니즘에 영향을 주는 주요한 파라미터
  • Learning rate : 학습률을 조절
  • Batch size : 배치사이즈의 크기에 따라 loss가 업데이트 되는 과정이 바뀜
  • Loss 파라미터
  • Optimizer 파라미터
  • Dropout
  • Regularization
  • Hidden Layer 개수
  • k-fold

hyperparameter조절의 단점

• 하이퍼파라미터를 수정할 때마다 매번 training을 해줘야 하므로 효율이 매우 떨어진다. 정말 reasonabel한 기법이지만 잘 쓰이지 않는다.(성능과 효율 사이에서 타협을 본다고 생각하면 됨)