Dropout

Dropout ?

• 정규화 기법 중 하나

• 과적합(overfitting)을 줄이고 모델의 일반화 성능을
  향상 시키는 방법

• 신경망의 학습 중에 무작위로 선택한 뉴런들을 제외하고
  (뉴런의 출력을 0으로 설정),
  나머지 뉴런만 사용하여 순전파와 역전파를 수행하는 것

Dropout의 주요 아이디어

1. 과적합 방지

• 학습 과정에서 무작위로 일부 뉴런을 비활성화시켜
  모델이 특정 뉴런에 지나치게 의존하지 않도록 하여
  과적합을 방지

2. 앙상블 효과

• Dropout은 여러 개의 다른 네트워크를 학습하는 것과 유사한 효과를 가지며 학습 과정마다 다른 뉴런이 비활성화되기 때문에 앙상블 학습과 비슷한 효과를 얻을 수 있다

Dropout의 동작

1. 학습 단계(Training Phase)

• 무작의로 선택한 뉴런들을 비활성화(dropout)시킨다

• 일반적으로 0.5 또는 0.2와 같은 dropout rate를 사용하여
  뉴런의 일부만을 활성화 시킨다

• 이로 인해 순전파 과정에서 선택된 뉴런의 출력은 0으로
  설정되며, 역전파 과정에서는 해당 뉴런에 대한 기울기가
  전파 되지 않는다

2. 테스트 단계(Inference Phase)

• 모델을 사용하여 예측을 수행할 때 드랍아웃을 비활성화 하고
  모든 뉴런을 사용한다. 이것은 모델의 예측을 안정화시키고 학습된 모델의 성능을 평가하는 데 사용된다.