본 게시물은 패스트캠퍼스 '딥러닝/인공지능 올인원 패키지 Online`강의를 바탕으로 정리한 내용입니다.

✅ VGG

GoogleNet에 비해 성능이 좋은 것은 아니었는데 대중 pick을 받았던 vgg.
그 비결은 단순명쾌쉽다! 였다 :)

반복되는 convolution layer, 매우 직관적이지 ㅎ

✅ Training Data Augmentation

1. RGB 데이터가 들어왔을 때 -> PCA 방법을 통해 principal vector 뽑아냄 -> ...
2. training scale 조정함.
single scale은 둘 중에 하나 선택, multi scale은 범위 안에 있는 어떤 값이든

(경우1, single scale로 했을 때)
E모델, 가장 깊이가 깊었던 아이가 error값이 제일 작았음

• 또한 특이하게 보여할 점은 S(training scale)와 Q(testing scale)가 존재한다는 것
• dense evaluation이란? shift를 이용하여pooling할 때 해상도 정보를 살릴 수 있음 -> 해상도 손상 x

(경우2, multi scale로 했을 때)
D & E모델, 결과가 가장 좋았다. 여전히 network가 깊을수록 성능이 좋았음

✅ ResNet

residual connection 기법, 요즘 모든 모델들이 다 사용하고 있음
사이의 값들을 계속 넘겨주는 형태를 갖고 있음

🔅 Residual Learning?

input에 대한 정보를 같이 넘겨주고 있음!
왼쪽같은 경우는 단순히 $x$의 변화가 크게 없으면 $H(x)$변화도 크게 없을 것이다.
하지만, 오른쪽의 경우에는 $x$까지 같이 전달이 되기 때문에 약간의 변화도 감지할 수 있다는 것이다.

-> 더 깊은 망도 학습이 가능하다!

ResNet 써보니까 굉장히 좋은 결과가 있었음 와우!
기존 모델에서는 더 깊은 layer에 대해 학습이 안되는 경우가 있었는데 ResNet에서는 잘 된다는거!
다시한번, 더 깊은 망도 학습 가능하다는거

🔅 Bottleneck Architecture

아래 사진과 같이, 병목처럼 크기를 조정하므로써 (1x1 conv 사용했자나->parameter감소)

연산시간 감소할 수 있다!

bottleneck architecture을 사용한 경우, 훨씬 향상된 성능을 가진 것을 확인할 수 있었음.
(ResNet-152 최고의 성능)

• 앙상블 했을 때 더 좋은 결과

✅ CIFAR-10

ImageNet보다는 작은 데이터 크기. 연습할 때는 이 데이터로 하는게 좋다 이거지.

layer가 deeper일 때, plain과 ResNet을 비교해보면 확연한 결과를 볼 수 있지.
후자는 deeper is better가 성립한다고 :)

Layer별 Response도 ResNet이 압승

그래서 이렇게 좋은 결과를 낼 수 있지 않았나