# SENet

ta1231

Image classification image classification의 역사 LeNet-5(1998) 1998년에 소개된 아주 간단한 CNN 구조 conv - pool - conv - pool - fc - fc AlexNet(2012) LeNet과 유사하지만 7개의 hidden layers(deeper) 6억개의 파라미터 large amount of data로 학습 activation함수로 ReLU를 사용하고 Regularization으로 dropout 사용 당시는 GPU메모리가 부족하여 두개의 GPU에 올려서 학습함 LRN(Local Response Normalization)은 batch normalization으로 바뀌었고, 11x11 convolution filter는 사용되지 않음(너무 큼) VGGNet(2014) Simpler architecture 사용 3x3 conv filter만 사용하고 2x2 ma

redgreen

SENet >* 기존 방법론들과 다르게 channel relationship에 주목한 논문 Squeeze-and-Excitation(SE) block을 사용 SE block을 사용하여 기존의 SOTA모델들도 개선할 수 있음을 보여줌 channel간 non-linear dependency를 제공함으로써 network의 representational power를 강화한다고 함 SE block >* Squeeze와 Excitation으로 나누어 짐 초기 layer에서는 class 상관없이

iissaacc

updated Oct.19.21: SE block 구현 Prologue CNN은 Convolution 연산을 통해 성능을 높여 사람의 인지능력보다 높은 성능의 모델을 개발해왔다. 그럼에도 이 연산은 spatial dimension$(\text{H, W})$과 depth dimension$(\text{C})$이 가진 신호를 마구 뒤섞는다는 점을 주목하고 channel 방향으로 늘어선 정보들도 활용할 수 있을 거라고 생각했다. 이 연구에서 제안한 방법으로 ILSVRC 2017에서 우승했다. What did authors try to accomplish? CNN은 입력 tensor와 $k\times k$ 크기의 kernel을 연산하면서 spatail dimension의 신호를 잘 정리해서 보여줄 수밖에 없었다. 수식

isseebx

논문이 나온지는 오래되었지만 나중에 복습을 하기위해 작성해보았습니다. Summary SE Net (Squeeze and Excitation Network) 압축(Squeeze)한 정보를 이용하여 자극(Excitation)시킨다. Excitation ≒ Attention(주목), Emphasis(강조) ILSVRC 2017 classification 1위로 기존에 CNN기반 네트워크 대부분의 성능을 향상시킨다. SE Block SE Net과 SE Block의 차이 SE Net은 SE Block이 적용된 네트워크를 의미함. Ex) SE Block이 추가된 ResNet을 SE-ResNet으로 칭함. SE Block이란