모두를 위한 딥러닝 강좌

Learning Rate(학습률)

• 학습률이 크면?
  경사면을 따라 내려가는 스텝이 크면 최저점 도착하지 않고 튕겨 나갈 수 있음
  
• 학습률이 굉장히 작으면?
  아주 작은 스텝으로 내려가서 시간이 오래 걸릴 수 있음
  

일단은 0.01로 잡고 너무 많이 크게 내려가면 숫자를 작게, 너무 적게 내려가면 숫자를 키워서 cost function을 판단하는 것이 좋음

Normalize

어떤 데이터가 범위 안에 들어가도록 하는 것

Overfitting(과적합)

• 학습 데이터에 너무 잘 맞게 훈련됨
• 실제 테스트 데이터에 잘 맞지 않는 상황이 됨

Overfitting을 줄이는 법

• 훈련 데이터를 많이 가지고 있는 것
• 피처의 수를 줄이는 것
• 일반화(regularization)

Regularization

• 너무 큰 weight 값을 가지지 말자

Training/validation and test sets

• 훈련, 검증, 테스트 데이터 셋으로 나눈 뒤 훈련 셋에 훈련이 완료되면 검증 셋으로 테스트를 해줌, 검증 셋으로 검증이 잘 됬다면 그 후에 테스트 세트로 확인한다

Accuracy

• 예측값이 얼마나 정확한 건지 확인