Atrous depth-wise separable convolution

• weight 수 (메모리)
  • 후자가 더 적다. (메모리 사용량 감소)
  • 3*3*3*6 > 3*3*3 + 1*1*1*6
• 계산량 (GPU 사용량)
  • 3*3*6* (7*4) <3*3*3 * (7*4) + 3*6* (9*6)
  • 후자가 더 많다. (GPU 사용량 증가)
  • 다만, 이것은 매번 그런것은 아니고, stride를 어떻게 설정하느냐에 따라 또 달라질듯하다.

Depthwise Separable Convolution

• depthwise convolution 왜 쓰는데?
  • 일반 convolution이 비해 weight 수 적음 (메모리 감소)
  • 채널 correlation 을 피할 수 있다. (RGB 채널을 예로 들면, R채널만의 공간적 특징을 추출할 수 있다.)
• Depthwise separable convolution 왜 쓰는데?
  • 일반 convolution과 거의 똑같은 결과를 내지만, weight 수(메모리 감소)가 더 적다.

Atrous depthwise Separable Convolution

Atrous Convolution 왜 쓰는가?

• https://velog.io/@hsbc/Atrous-Convolution