🇶 딥러닝의 성능향상을 위해 고려하는 하이퍼파라미터의 종류에는 어떤 것들이 있는지 설명해주세요.
1. 학습 과정 제어 관련
모델이 데이터를 얼마나 빠르고 정확하게 학습할지를 결정합니다.
- 학습률 (Learning Rate): 가중치를 업데이트할 때 이동하는 보폭의 크기입니다. 너무 크면 최적점을 지나쳐 발산하고, 너무 작으면 학습 속도가 지나치게 느려집니다.
- 배치 크기 (Batch Size): 한 번의 가중치 업데이트를 위해 사용하는 데이터 샘플의 묶음 단위입니다. 작으면 학습이 불안정할 수 있지만 국소 최적점(Local Minimum) 탈출에 유리하고, 크면 계산 효율이 높지만 메모리 부담이 큽니다.
- 에포크 (Epochs): 전체 데이터셋을 몇 번 반복해서 학습할지를 결정합니다. 너무 적으면 과소적합(Underfitting), 너무 많으면 과적합(Overfitting)이 발생합니다.
2. 모델 구조 관련
인공신경망의 모양과 깊이를 설계하는 파라미터입니다.
- 은닉층의 수 (Number of Hidden Layers): 층이 깊어질수록 복잡한 특징을 추출할 수 있지만, 연산량이 늘어나고 기울기 소실(Vanishing Gradient) 문제가 발생할 수 있습니다.
- 은닉 유닛의 수 (Number of Hidden Units): 각 층에 배치할 뉴런의 개수입니다. 모델의 용량(Capacity)을 결정하며, 데이터의 복잡도에 맞춰 조절해야 합니다.
- 활성화 함수 (Activation Function): ReLU, Sigmoid, Tanh 등 뉴런의 출력을 결정하는 함수입니다. 데이터의 특성과 층의 위치에 따라 적절한 함수를 선택합니다.
3. 정규화 및 최적화 관련
학습의 안정성을 높이고 과적합을 방지하기 위해 고려합니다.
- 드롭아웃 비율 (Dropout Rate): 학습 중 무작위로 일부 뉴런을 비활성화하여 특정 뉴런에만 의존하지 않도록 만듭니다. 과적합 방지에 효과적입니다.
- 옵티마이저 (Optimizer): 손실 함수를 최소화하기 위해 가중치를 업데이트하는 알고리즘입니다. (예: Adam, SGD, RMSprop 등)
- 가중치 초기화 (Weight Initialization): 학습 시작 전 가중치의 초기값을 설정하는 방식입니다. (예: Xavier, He 초기화)
💡 성능 향상을 위한 팁: 하이퍼파라미터 튜닝
최적의 조합을 찾기 위해 다음과 같은 기법을 주로 사용합니다.
- Grid Search: 미리 정해둔 후보군들을 하나씩 모두 대입해 보는 방식입니다.
- Random Search: 지정된 범위 내에서 무작위로 조합을 선택해 시도합니다. Grid Search보다 효율적인 경우가 많습니다.
- Bayesian Optimization: 이전 시도의 결과를 바탕으로 성능이 잘 나올 법한 범위를 예측하며 탐색하는 고도화된 방식입니다.
