🎲[AI] Hyper-parameter

해당 글은 FastCampus - '[skill-up] 처음부터 시작하는 딥러닝 유치원 강의를 듣고,
추가 학습한 내용을 덧붙여 작성하였습니다.

---

1. Hyper-parameter란?

• 데이터로부터 자동으로 학습되지 않지만 모델 성능에 영향을 주는 설정값으로,
  사용자가 직접 설정하며, 주로 실험적 튜닝이 필요
  ↔ Model Parameter(== Weight Parameter): 모델 내부의 설정 값으로, 데이터 학습을 통해 변경됨
• e.g.
  • 학습률 (Learning Rate)
  • 네트워크 깊이와 너비 (Depth & Width)
  • 활성화 함수 종류 (ReLU, Leaky ReLU, Leaky ReLU의 각도, ...)
  • 초기화 방법 (어떤 random 함수를 쓸 것인가?)
  • Epoch 수, Mini-batch 크기
  • 등등
• Grid-search, Bayesian Optimization을 통해 최적화된 Hyper-parameter를 찾아야 함
• 허나, 대게 많은 파라미터들은 약간의 성능 변화만 야기하기도 함
• 따라서 Critical한 파라미터들이 무엇인지 인지하고 주로 튜닝하는 것이 중요
• 어쩔 수 없이 노하우가 중요한 영역

Bayesian Optimization

• Bayesian Optimization은 비싼 함수(f(x))를 최대한 적은 평가 횟수로 최적화하고 싶을 때 사용하는 방법
• 작동 원리
  1. Surrogate 모델 만들기
     우리가 최적화하려는 실제 함수 f(x)를 바로 알 수 없으니까,
     대신 그걸 확률 모델(Gaussian Process)로 근사함.
     이 모델은 x에 대해 f(x)가 어떤 값일지, 불확실성도 같이 알려줌.
  2. Acquisition Function 계산
     새로운 점을 어디서 평가할지 결정할 함수.
     예: 기대 개선(Expected Improvement, EI), Upper Confidence Bound(UCB) 등
     원칙: 잘될 가능성이 크고 + 불확실성이 큰 곳을 선택함.
  3. 함수 평가 & 업데이트
     선택한 x에서 실제 f(x)를 계산하고, surrogate 모델을 업데이트
     반복 → 점점 최적값에 가까워짐

---

2. TIP: 효율적인 실험 방법

• Baseline을 짓고 시작하자: 가장 기초적인 모델부터 시작할 것!
• 그 뒤로 수많은 실험 과정 및 결과를 체계적으로 관리하고 정리하면서 점진적으로 모델을 성장시켜야 함
• e.g. 모델 파일 이름에 하이퍼파라미터 포함:
  model.n_layers-10.n_epochs-100.act-leaky_relu.loss-xxx.accuracy-xx.pth
• 당연히 Table로 정리하면 더욱 직관적
• 실험 관리 툴 추천:
  • MLFlow [무료]
  • WanDB [유료]

---