SENet(Squeeze and Excitation Networks)은 압축(Squeeze)한 정보를 이용하여 자극(Excitation)시키는 방법을 사용합니다.
SKNet(Selective Kernel Networks)은 복수의 커널을 사용하고(Split), 포괄적인 정보를 모아(Fuse), feature map을 선택(select)하는 방법을 사용합니다.
2021년 Deepmind 논문으로 BatchNorm없이 큰 배치크기에서 ResNet을 잘 트레이닝하는 방법에 대한 연구. 핵심 키워드는 NFNet, AGC !