딥러닝 모델 역시 성능을 극대화하기 위해서는 하이퍼 파라미터를 조정해야 한다. 딥러닝 모델의 하이퍼 파라미터로는 모델구조, 학습과정, 정규화방법을 정하게 된다.
먼저 모델구조와 관련된 하이퍼 파라미터들은 모델의 깊이(Number of Layers), 모델의 너비(Number of units / Neurons per layer), 활성화함수(Activation Function)이 있다. 모델의 깊이는 은닉층을 몇 개로 설계할 것인지에 대한 것이며, 은닉층이 많아지면 심층 신경망(Deep Neural Network)이라고 부른다. 모델의 너비는 모델이 사용할 인공신경망의 수를 이야기하며, 보통 입력 데이터의 Feature 수만큼 설계한다. 활성화함수는 신경망들 간의 연결강도를 정하게 되는데, 시그모이드 함수, tanh, ReLU 등 비선형 함수를 사용하여 입력신호를 출력신호로 변환한다.
다음으로 학습과정에 대한 하이퍼 파라미터들은 배치 크기, 학습률, Shuffle 여부 등을 정한다. 배치 크기는 모델이 한 번 학습할 때 처리할 데이터 샘플의 크기를 말한다. 배치 크기가 너무 크면 메모리 효율이 떨어지게 되며 계산비용이 매우 높다. 그러나, 배치 크기가 작으면 일반화에는 도움이 되지만 그만큼 노이즈가 생기기 때문에 적절한 배치 크기를 설정하는 것이 좋다. 딥러닝 모델에서도 최적화 과정에서 경사하강법을 사용하므로 적절한 학습률을 설정하는 것이 매우 중요하다.
마지막으로 정규화 방법과 관련된 하이퍼 파라미터로는 Dropout rate와 L1/L2 규제가 있다. Dropout이란 일부 뉴런을 랜덤하게 연산에서 배제하여 과적합을 방지하는 것이고, L1/L2 규제는 머신러닝 모델에서와 마찬가지로, 가중치가 너무 커지는 것을 방지하여 일반화 성능을 향상시킨다.
