ALEXNET

VGG

: 깊은 네트워크의 중요성

RESNET

: 깊은 네트워크의 문제점 개선

EFFICIENTNET

: 효율적이고 정확한 네트워크 제안, 기존 네트워크 TRADE-OFF 분석

CNN 한계점

: 이미지 안에서 멀리 떨어진 객체끼리 관련성 파악 힘듦
: 이미지 각 파트가 이미지 이해에서 얼마나 중요한지, 얼마나 서로 관련이 있는지 평가할 수 없음

TRANSFORMER

• VIT & SWIN

- word embedding

- positional encoding

- positional embedding

- self attention

• Query
• Key
• Value

feed forward