[딥러닝] 성능향상(규제-하이퍼매개변수 최적화)

Peter·2021년 7월 7일
0

딥러닝

목록 보기
31/47

매개변수

내부 매개변수 혹은 가중치

  • 신경망의 경우 쎼타로 표기
  • 학습 알고리즘이 최적화함

하이퍼 매개변수

  • 모델의 외부에서 모델의 동작을 조정
    (러닝레이트, 은닉층 개수, 커널크기, 보폭 등)

하이퍼 매개변수 선택

  • 표준 참고 문헌이 제시하는 기본값 사용
  • 후보가 제시돼있다면 돌려보고 최적인 값 선택

격자 탐색과 임의 탐색

  • 변수들의 경우의 순을 격자형태로 탐색하는 격자 탐색
  • 아무거나 임의로 선택해나가는 임의탐색

로그 공간 간격으로 탐색

  • 어떤 하이퍼 매개변수는 로그 공간을 사용해야 함
  • 1~10까지 10가지로 탐색하는것이 아니라 2배수, 3배수 이런식으로 진행해야 하는 하이퍼파라미터들도 있음

차원의 저주 문제 발생

  • 매개변수가 m개이고 각각이 q개 구간이라면 q의m승개의 점을 조사해야함

임의 탐색의 우월성

  • 임의 탐색이 좀 더 넓은 임의의 영역에서 좋은 수치를 찾을 수 있음
  • 단위를 크게 탐색햇다가 세밀해지는 파인서치로 진행
profile
컴퓨터가 좋아

0개의 댓글