드롭아웃

• 완전연결층의 일정 비율을 임의 선택해 제거하는 기법
• 중복 노드들을 제거
• 배치 노멀라이제이션을 실시하면 데이터 쏠림 현상이 해소되기에 드랍아웃을 할 필요성이 없어짐
• 역전파도 드랍아웃된 상태로 진행

드랍아웃되기 전 완전연결층 연산

드랍아웃 적용후 연산

• 파이는 boolean(참,거짓)배열로 제거된 노드 여부를 표시
• 파이는 미니배치 샘플마다 독립적으로 정하는데, 난수로 정함
• 일반적으로 입력층 제거비율 0.2, 은닉층 제거 비율 0.5로 설정
• 테스트 때는 드랍됐던 가중치들을 다 살려줌
• 학습 과정에서 가중치가 드랍된 상태만 참여했기 때문에 p만큼 보정
• 들어가는 데이터 단계에서 보정을 하면 이 부분에 한해서 보정 필요 없음