AlexNet

Computer Vision의 DB

DB의 중요성

• 2012년 ImageNet challenge
  • SIFT 기반 Fisher Vectors의 성능 향상
  • Data의 양 증가, HW 성능 향상, Algorithm의 발전으로 Deep Learning이 등장하였다.
  • Rule Based -(2012)→ Data Driven
  • Data Driven Learning으로 전환하기 위하여 질적, 양적으로 충분한 DB를 확보할 수 있어야 한다.
    • 각국에서는 경쟁적으로 인공지능용 DB를 확보하고 있다.
    • Kaggle, Google Open Dataset search, AI Hub(kr)
    • 공개된 Dataset Label의 정확도는 90%에서 95%로, 5%~10% 검증이 어렵다.

Computer Vision 주요 DB

• ImageNet: 미국을 중심으로 한 데이터
• VOC: 유럽을 중심으로 한 데이터
• MIT Tiny Dataset
  • CIFAR-10, CIFAR-100: MIT 데이터 가공
• MNIST
• Deep Learning을 위해서는 대용량 Data에 대한 이해도가 높아야 최적화된 알고리즘을 구현할 수 있다.

Classification

Supervised Learning

Input	Model	Output
Image	Black box	Label
$x$	$f_x$	$y$

• Learning: Training Data ${(x_i,y_i)}^N$로부터 Parameters $w$를 추정하는 과정
  • Rule-Based 또는 Data Drivne
• Inference: 예측을 만드는 것 $y=f_w(x)$

Linear Classification

XOR 문제를 해결할 수 없다.
→ 1970년대 Neural Network 연구게 침체되었던 원인

Non-Linear Classification

$\text{XOR}(x_1,x_2)=\text{AND}(\text{OR}(x_1,x_2),\text{NAND}(x_1,x_2))$

• Non-Linear feature를 Hidden Layer라고 한다.
• Hidden Neurons가 5개일 때 Non-Linear의 특성이 도드라진다.

Neural Network

Deep Neural Network

• 현재 사용되고 있는 딥러닝 알고리즘의 기본으로, 가장 빠르게 발전하고 있는 분야이다.
• Object Detection 뿐만 아니라 다양한 분야에 활용되고 있다.
• Muti Layer Perceptron - 모든 feature를 추출(Rule Based, Deep Learning)하지만 의미있는 Feature에 대해서만 학습한다.
• Complexity로 인해 Hardward, GPU가 필요하다.
• 입력(Image)이 많고 출력(Classifier)이 적다.
• 각 Neuron은 낮은 Layer의 활성화에 영향을 받는다.
  • 각 뉴런의 값은 이전 Layer의 값에 대한 산술적인 합
  • Activation 함수에 의해 필터링 된다.

Backpropagation

Convolution Neural Network

Computer Vision에서의 CNN

ResNet

SENet

R-CNN