그리드 서치(Grid Search)란?

• 머신러닝 모델의 최적 하이퍼파라미터 조합을 찾기 위한 기법
• 하이퍼파라미터: 모델 학습 과정에서 직접 학습되지 않고 사용자가 수동으로 설정해야 하는 값들

사용 방법

1. 하이퍼파라미터 그리드 생성

   • 최적화하고자 하는 하이퍼파라미터와 탐색할 값들의 범위 지정

2. 하이퍼파라미터 조합 탐색

   • 정의한 그리드 기반으로 가능한 모든 조합 생성
   • 각 조합에 대해 교차 검증 수행

3. 성능 평가

   • 교차 검증을 통해 각 조합의 성능 평가
   • 정확도, 정밀도, 재현율, F1 점수 등 다양한 평가 지표 사용 가능

4. 최적 조합 선택

   • 가장 우수한 성능을 보이는 하이퍼파라미터 조합 선택
   • 해당 조합으로 최종 모델 학습

   ---

장점

• 구현이 간단하고 직관적이며 사용하기 쉽다
• 모든 하이퍼파라미터 조합을 탐색하므로 최적 조합 찾을 수 있다
• 평가 지표를 기반으로 최적화를 수행한다

단점

• 그리드에 포함된 모든 조합을 탐색하므로 계산 비용이 높다
• 튜닝할 하이퍼파라미터 수에 제한이 있다
• 하이퍼파라미터 간의 관계를 고려하지 않고 독립적으로 탐색한다

단점 해결 방안

랜덤 서치(Random Search), 베이지안 최적화(Bayesian Optimization)

• 계산 비용 감소 및 하이퍼파라미터 수 제한 해결
  • 랜덤 서치: 하이퍼파라미터 공간에서 무작위로 샘플링하여 최적 조합 탐색
  • 베이지안 최적화: 이전 평가 결과를 바탕으로 다음 평가 조합 선택, 효율적 공간 탐색

그래디언트 부스팅(Gradient Boosting)

• 하이퍼파라미터 간 관계 고려
  • 이전 모델의 잔차(실제값-예측값)를 새 모델이 예측하도록 하여 점진적 성능 향상
  • 이 과정에서 하이퍼파라미터 간의 관계를 반영할 수 있음