Drop-Out
서로 연결된 연결망(layer)에서 0부터 1 사이의 확률로 뉴런을 제거하는 기법
drop-out rate가 0.5라 가정하면 이전 4개의 뉴런끼리 모두 연결되어 있는 전결합 계층 (fully-connected) 에서 4개의 뉴런 각각은 0.5 확률로 제거될지 말지 랜덤하게 결정된다.
위 예시에서는 2개가 제거된 것을 알 수 있다.
즉, 뉴런의 종류와 개수는 오로지 랜덤하게 drop-out rate에 따라 결정된다.
- 사용 목적
특정 feature만을 과도하게 학습하는 overfitting을 방지하기 위해 사용된다.
어떤 feature가 출력값에 큰 상관관계가 있다 가정한다면 드롭아웃을 사용하지 않을 시 모델을 학습하면 feature에 가중치가 크게 설정되어 나머지 feature은 제대로 학습하지 못할 것이다.
- min-batch 학습시 드롭아웃을 적용하면 각 batch별로 적용된다.
auspicious