Today I Learned

오늘은 하이퍼 파라미터 튜닝에 대해 공부했다!

하이퍼 파라미터 튜닝

• 하이퍼 파라미터
  머신 러닝 모델의 학습 과정을 제어하고 조절하는 데 사용되는 매개변수
  모델이 학습하는 파라미터가 아니라 학습하기 전에 미리 사람이 설정해줘야 하는 파라미터
  모델의 구조나 학습 방식 등을 결정하는 중요한 파라미터

• 하이퍼 파라미터 튜닝
  머신 러닝 모델에서 사용되는 하이퍼파라미터의 최적 값을 찾는 과정(최적화 과정)

방법

Manual Search

자동화 툴을 사용하지 않고 매뉴얼하게 실험할 파라미터 셋을 정하고 하나씩 바꿔가면서 테스트해보는 방식

Grid Search

가능한 모든 하이퍼파라미터 조합을 대상으로 모든 조합을 시도하여 최적의 조합을 찾는 방법

• 각 하이퍼파라미터마다 일정한 간격으로 값들을 지정하고, 이들의 모든 조합을 탐색한다.

• 모든 조합을 시도하기 때문에 계산 비용이 크고, 과적합될 수 있다.
  하이퍼 파라미터 조합이 적을 때 시도한다.

Random Search

가능한 하이퍼파라미터 공간에서 무작위로 일부 조합을 선택하여 시도하는 방법

• 그리드 탐색에 비해 더 적은 시도로도 좋은 결과를 얻을 수 있으며, 계산 비용이 적다.

• 하이퍼파라미터 공간의 분포를 고려하여 무작위로 선택하므로 효율적이다.

Bayesian Optimization

이전 반복에서 관찰된 결과를 기반으로 다음에 시도할 하이퍼파라미터 조합을 선택하는 방법

• 처음에는 랜덤으로 찾다가 이전 결과를 기반으로 잘나온 영역을 집중적으로 탐방하는 방법이다. 진행하면서 너무 한쪽으로 몰리지않게 랜덤성을 추가해도 된다.

• 모델의 성능을 평가한 후, 이를 기반으로 다음 번 시도할 하이퍼파라미터를 추정하고 선택하므로 공간을 보다 효율적으로 탐색할 수 있다.

Boosting Tree 하이퍼 파라미터

• Boosting Tree에서 대표적인 하이퍼 파라미터들
  

본 포스트의 학습 내용은 부스트클래스 <AI 엔지니어 기초 다지기 : 부스트캠프 AI Tech 준비과정> 강의 내용을 바탕으로 작성되었습니다.