[모두를 위한 딥러닝1] Lec 10 - Dropout과 Ensemble

Overfitting(과적합) 문제를 해결할 수 있는 방법

1. More training data
2. Reduce the number of features
3. Regularization

Regularization

: weight에 너무 큰 값을 주자 말자 => λΣW^2 (regularization strength)

• Dropout
  : "randomly set some neurons to zero in the forward pass"
  
  단, 학습할 때만 dropout 시키고 실제 사용(테스트) 시에는 dropout_rate를 1로 설정해 모두 참여하도록 해야 함
  ex) dropout_rate = 0.7 -> 전체에서 30% 제외하고 훈련시킨다
  
  
  
• Ensemble
  : 똑같은 형태의 독립적인 Neural Network를 만들어 각각을 학습시킨 후, 결과 모델을 모두 합쳐 최종 모델을 구성함
  : 데이터가 많고 컴퓨터가 많을 때 사용
  
  
  

  Feedforward neural network(순방향 신경망)

  : 레고처럼 neural network 쌓기
  1. Fast forward : 중간의 출력을 앞으로 당기는 것
  2. Split & Merge
  3. Recurrent network : 옆으로 나아가는 것