[딥러닝] 성능향상(규제-하이퍼매개변수 최적화)
매개변수
내부 매개변수 혹은 가중치
- 신경망의 경우 쎼타로 표기
- 학습 알고리즘이 최적화함
하이퍼 매개변수
- 모델의 외부에서 모델의 동작을 조정
(러닝레이트, 은닉층 개수, 커널크기, 보폭 등)
하이퍼 매개변수 선택
- 표준 참고 문헌이 제시하는 기본값 사용
- 후보가 제시돼있다면 돌려보고 최적인 값 선택
격자 탐색과 임의 탐색
- 변수들의 경우의 순을 격자형태로 탐색하는 격자 탐색
- 아무거나 임의로 선택해나가는 임의탐색
로그 공간 간격으로 탐색
- 어떤 하이퍼 매개변수는 로그 공간을 사용해야 함
- 1~10까지 10가지로 탐색하는것이 아니라 2배수, 3배수 이런식으로 진행해야 하는 하이퍼파라미터들도 있음
차원의 저주 문제 발생
- 매개변수가 m개이고 각각이 q개 구간이라면 q의m승개의 점을 조사해야함
임의 탐색의 우월성
- 임의 탐색이 좀 더 넓은 임의의 영역에서 좋은 수치를 찾을 수 있음
- 단위를 크게 탐색햇다가 세밀해지는 파인서치로 진행