Hyperparameter

앞서 말했듯이, 모델의 성능은 하이퍼파라미터(hyperparameters)에 따라서 크게 달라진다. 머신러닝과 딥러닝에서 가장 대표적인 튜닝방법들을 소개한다.

Hyperparameter 운영 원칙

• 튜닝은 train/validation dataset 에서만 수행
• test set은 최종 평가에만 사용
• 탐색 범위와 방법을 명확히 기록
• 과도한 튜닝은 과적합으로 보일 수 있음

1. Grid Search (격자 탐색)

• 미리 정의한 하이퍼파라미터 후보 값들의 모든 조합을 전부 실험하는 방식.
• 가장 단순하고 확실한 방법

예시

learning rate ∈ {0.001, 0.01, 0.1}
batch size ∈ {16, 32}
→ 총 3 × 2 = 6가지 조합

장점

구현이 단순하고 직관적
재현성이 높음
논문에서 가장 많이 사용됨

단점

파라미터 수가 많아질수록 계산 비용 급증
불필요한 조합까지 모두 실험

언제 사용?

파라미터 수가 적을 때 (1~3개)
탐색 범위가 작을 때

2. Random Search (무작위 탐색)

정의된 범위 내에서 무작위로 하이퍼파라미터 조합을 샘플링해 평가. Grid search의 효율적인 대안.

특징

Grid Search보다 효율적인 경우가 많음
제한된 횟수만 실험 가능

장점

고차원 파라미터 공간에서 효율적
계산 예산을 직접 제어 가능

단점

최적 조합을 보장하지 않음
결과 변동성 존재

언제 사용?

파라미터가 많을 때
계산 자원이 제한적일 때

3. Sequential / Heuristic Tuning

한 번에 하나의 파라미터만 조정하며 점진적으로 좋은 값을 찾음. 현실적으로 가장 많이 사용됨

예시

learning rate 고정 → batch size 탐색
batch size 고정 → dropout 탐색

장점

구현과 해석이 매우 쉬움
실무와 논문에서 가장 흔히 사용됨

단점

전역 최적해를 놓칠 수 있음
파라미터 간 상호작용 고려 어려움

언제 사용?

빠른 실험이 필요할 때
탐색 공간이 비교적 명확할 때

4. Bayesian Optimization

이전 실험 결과를 바탕으로 다음에 시도할 파라미터를 확률적으로 선택함. 고급·고비용 상황용

대표 기법

Gaussian Process
Tree-structured Parzen Estimator (TPE)

장점

실험 횟수 대비 효율적
고비용 모델에 적합

단점

구현 복잡
작은 문제에는 과한 경우도 있음

언제 사용?

실험 비용이 매우 클 때
파라미터 공간이 넓을 때

5. Hyperband / Early Stopping 기반 탐색

성능이 낮은 설정은 조기에 중단하고, 유망한 설정에만 자원을 집중하는 방식.

장점

계산 자원 절약
대규모 실험에 적합

단점

구현 및 설정 복잡
결과 해석이 어려울 수 있음