머신러닝에서 파라미터와 하이터파라미터가 자주 나온다.
하지만 두 가지 개념의 차이점을 잘 인지하지 못한다.
솔직히 나도 헷갈렸다.
1. 파라미터
Parameter. 머신러닝 훈련 모델에 의해 요구되는 변수
특징
머신러닝 훈련 모델의 성능은 파라미터에 의해 결정된다.
파라미터는 데이터로부터 추정 또는 학습된다.
파라미터는 임의로 조정이 불가능하다
학습된 모델의 일부로 저장된다.
예시
인공신경망의 가중치 등
2. 하이퍼파라미터
Hyperparameter. 최적의 훈련 모델을 구현하기 위해 모델에 설정하는 변수.
learning rate, epoch, 가중치 초기화 등을 결정할 수 있다.
특징
임의 조정이 가능하다
학습 알고리즘의 샘플에 대한 일반화를 위해 조절된다
예시
learning late
loss funciton
일반화 파라미터(이건 뭐지?)
미니배치 크기
에포크
가중치 초기화
은닉층의 개수
k-NN의 k값
결론
모델 파라미터는 새로운 샘플이 주어지면 무엇을 예측할지 결정하기 위해 사용하는 것이며 학습 모델에 의해 결정
하이퍼파라미터는 학습 알고리즘 자체의 파라미터로 모델이 새로운 샘플에 잘 일반화 되도록 하이퍼파라미터들의 최적값을 찾으나, 데이터 분석 결과로 얻어지는 값이 아니므로 절대적인 최적값은 존재하지 않고, 사용자가 직접 설정
