Structured Dropout 이란?

Structured Dropout

드롭아웃의 변형된 방식. 임의로(randomly) 개별 뉴런을 Drop(비활성화)하는 대신, 모델의 특정 구조나 패턴에 따라 더 큰 단위의 뉴런 그룹을 드롭하는 방법

일반적인 Dropout

각 뉴런을 랜덤하게 비활성화 하여 과적합을 방지하는 데 중점을 둔다.

Structured Dropout

특정 구조적 단위(ex: channel, layer, block)을 기준으로 하여 한번에 더 많은 뉴런을 비활성화하거나, 특정 패턴을 따라서 단위를 비활성화 하는 방식이다.

단순한 뉴런 단위의 드롭아웃보다 더 큰 구조적 변화에 집중하여 네트워크의 일부 기능을 전반적으로 제거하는 것이다.

1. Channel Dropout
2. Spatial Dropout
   : 이미지와 같은 공간적 데이터에서, 개별 픽셀이나 뉴런이 아닌 특정영역(블록)을 드롭한다.
3. Layer-wise Dropout
   : 네트워크의 전체 레이어를 비활성화 하거나 드롭하는 방식. 특정 레이어에 대한 의존도를 줄인다.
4. patch-structured-dropout
   : Vit(Vision Transformer)와 같은 모델에서 이미지의 패치(patch)들이 들어오는데, 이러한 패치 단위로 드롭을 적용하는 것.