복습
Underfitting(부적합) : train, test 데이터셋 모두에서 성능이 떨어지는 경우
Overfitting(과적합) : train, valid 데이터셋 성능이 우수하나 test에서 떨어지는 경우
인공지능의 목표는 True function과 유사해지는 것이며, 이를 위해 Samples의 분포를 학습한다.
부적합일 때 인공지능은 Samples를 맞추는 정확도가 떨어지며, 과적합일 때는 Samples를 너무 잘 반영하여 True function과 멀어진다.
True function과 유사하지 않을수록 새로운 데이터에 대한 정확도가 떨어진다.
모델 학습 하이퍼파라미터
1) Loss function
모델이 도출한 ouput 정답지 target의 차이를 수치화하는 함수
회귀분석에서는 MSE(Mean Square error), Classification에는 Cross-Entropy
이진 분류 문제는 Binary Cross-Entropy를 주로 사용함
loss 계산 방식에 따라 Center loss, Triplet loss, focal loss 등 존재
2) Optimizer
가중치가 구성하는 공간을 탐색하여 모델 loss가 최저가 되는 지점을 찾아내는 알고리즘
기본형은 SGD(Stochastic Gradient Descent), 이를 활용한 기법으로 Momentum, AdaGrad(RMSprop), Adam이 대표적
3) Learning Rate
Optimizer의 보폭을 조절할 수 있는 하이퍼파라미터
Learning rate가 크면 optimizer의 이동이 크고 작으면 작게 이동함
4) batch size
Batch : 모델의 가중치 업데이트마다 일괄 처리되는 데이터 집합
Batch size : 한 번에 처리될 데이터 개수
batch size에 따라 stochastic, full batch, mini batch로 구분됨
학습 횟수, epoch, step
- 학습 횟수 : 보통 epoch의 횟수로 지정하며 사용자가 결정
- epoch : 전체 데이터셋에 대해 한 번 학습을 진행하는 것
- step : 한 epoch에 사용되는 mini batch의 개수
딥러닝 평가 지표
- 회귀 모델 : 평균 절대 오차, 평균 제곱 오차, 평균 제곱근 오차, 평균 절대 비율 오차
