Squeeze-and-Exitation:

• Squeeze: Global Information Embedding
  한 channel의 global spatial information을 a channel descriptor로 squeeze한다.
  global average pooling을 사용하여 channel-wise statistics을 생성한다.
  
• Excitation: Adaptive Recalibration
  squeeze operation에 대한 정보를 활용하여 channel-wise dependencies를 fully capture하기 위해
  a simple gating mechanism with a sigmoid activation을 사용
  

A SE block

Experiments

• layer마다 fc layer가 추가되니까 parameter와 연산량이 증가할 것임...
  
  Table 2.에서 증가된 parameter와 연산량을 감추기 위해 original은 공개하지 않고, re-implementation한 것과 비교함.
  뭐 그래도 단순히 layer를 증가시키는 것보다 SE block에 대한 ablation study는 보여주었다.