하이퍼 파라미터

파라미터와 하이퍼 파라미터는 명확히 다른 개념이라고 합니다. 저도 몰랐는데요 이제부터 한번 알아보겠습니다.

파라미터

파라미터는 모델 내부에서 결정되는 변수입니다. 또한 그 값은 데이터로부터 결정됩니다.

예를들어 어떤 집단의 학생들의 키에 대한 정규분포를 그린다고 할 때 평균과 표준편차를 구할 수 있습니다.

여기서 평균과 표준편차가 바로 파라미터입니다. 당연히 이는 데이터를 통해서 구해지고 모델 내부적으로 결정되는 값입니다.

딥러닝에서는 신경망의 weight들이 파라미터라고 할 수 있습니다. #maybe

하이퍼 파라미터

하이퍼 파라미터는 모델링 할 때 우리가 직접 설정해주는 값입니다.

아시겠지만 머신러닝/딥러닝 모델을 쓸 때 직접 설정해야하는 값은 상당히 많습니다. ex) learning rate, weight decay 등 모든것이 하이퍼 파라미터입니다.

하이퍼 파라미터는 정해진 최적의 값이 따로 없고 휴리스틱한 방법이나 경험에 의해 결정하는 경우가 많습니다.

베이지안 옵티마이제이션과 같이 자동으로 하이퍼 파라미터를 선택해주는 라이브러리도 있다고 합니다. 오?

Reference

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-13-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Parameter%EC%99%80-%ED%95%98%EC%9D%B4%ED%8D%BC-%ED%8C%8C%EB%9D%BC%EB%AF%B8%ED%84%B0Hyper-parameter