1. 파라미터와 하이퍼파라미터의 차이
파라미터
파라미터(매개변수)는 모델 내부에서 데이터에 의해 결정되는 변수로 다음과 같은 특성을 가지고 있다.
- They are required by the model when making predictions.
- They values define the skill of the model on your problem.
- They are estimated or learned from data.
- They are often not set manually by the practitioner.
- They are often saved as part of the learned model.
예시로는 인공신경망의 가중치, 서포트벡터머신(SVM)의 서포트벡터, 선형 회귀 혹은 로지스틱 회귀의 계수가 있다.
하이퍼파라미터
하이퍼파라미터는 파라미터와 달리 사용자가 직접 값을 지정한다. 특성은 다음과 같다.
- They are often used in processes to help estimate model parameters.
- They are often specified by the practitioner.
- They can often be set using heuristics.
- They are often tuned for a given predictive modeling problem.
하이퍼파라미터에는 학습률, 반복 학습 횟수(epoch), 배치 크기, 일반화 파라미터, 활성화 함수, 가중치 크기 등이 있다.
2. 하이퍼파라미터 최적화
1) Manual Search
사용자의 직관과 경험을 기반으로 반복해서 탐색하는 단순한 방법이다. 이 때 도출한 조합 중 최적의 조합을 사용해 최적화를 달성한다.
2) Grid Search
하이퍼파라미터 그리드에 속한 모든 파라미터 조합을 훈련시켜 비교, 평가하고 최적의 조합을 찾는다. 반복 수행을 한다는 점에서 Manual Search와 유사하지만 선험적 지식으로 문제를 분석하고 하이퍼파라미터 범위를 정한다는 점에서 차이가 있다.
3) Random Search
랜덤 샘플링을 통해 범위 내에서 무작위로 값을 반복 추출한다. 이때 선험적 지식을 기반으로 파라미터의 탐색 범위를 부여한다. Grid Search는 일정한 간격으로 탐색을 진행하지만, Random Search는 무작위로 최적값을 찾는다.
4) Bayesian Optimization
기존의 추출을 기반으로 탐색하는 방식으로 미지의 목적 함수를 설정하고 해당 함수값을 최대로 만드는 최적해를 찾는 것을 목표로 한다. 목적 함수와 하이퍼파라미터 쌍을 대상으로 대체 모델을 만들고 순차적으로 하이퍼파라미터를 업데이트, 평가새 최적의 조합을 탐색한다.
데이터분석 뽀개기