CS231n: Convolutional Neural Networks for Visual Recognition

청년 AI / Big Data 교육에서 Big Data 파트가 끝나고 AI 파트로 들어오면서, 여러 소스를 한번에 활용해 공부를 하다보니 배운걸 또 배우고 개념이 얽히고 섥혀가는 느낌이었는데, 보는 책, 강의마다 공통적으로 추천하는 CS231n 강의를 통해 개념을 재정리하기로 마음먹고 별도로 공부 중

워낙 유명한 강의이다보니 한글 자막 자료도 좀 있고, 강의노트를 정리한 블로그도 넘쳐나서 다행히 이해하는데는 큰 무리가 없을 것 같다. 다만 AI 프로젝트 및 교육 기간인 10월 내에 끝낼 수 있을지는 아직 미지수...

강의 자료

강의 Page

2017년 Spring 강의 - Youtube, Page

진도

01. Introduction

A Brief Histroy of Computer Vision

02. Image Classification Pipeline

Image Classification

• Chllenges of Recognition
• Data-Driven Approach

Nearest Neighbor

• Distance Metric: L1 Distance & L2 Distance
• K-Nearest Neighbors
• Hyperparameters & How to Set

Linear Classification

• Basic Block of Neural Network
• Parametric Approach
• x (Input) & W (Parameter) & Score

03. Loss Function and Optimization

Loss Function

• Loss Function: Multiclass SVM (Hinge Loss)
• Regularization: L2 Regularization
• Loss Function: Multinomial Logistic Regression (Softmax Loss)

Optimization

• Random Search
• (Numeric Gradient) Finite Difference Methods
• (Analytic Gradient) Gradient Descent
  Stochastic Gradient Descent

Image Feature (참고)

• Color Histogram, HoG, Bag of Words

04. Backpropagation and Neural Networks

Backpropagation

• Computational Graph (함수 풀어쓰기)
• Patterns in Backward Flow
  add gate, max gate, mul gate
• Gradients for Vectorized Code
• Modularized Implementation: Establishing Forward / Backward API

Neural Network

• 2-layer Neural Network
• Biological Neuron & Compuational Node (참고)
• Activation Functions & Architecture of NN
• Feed-Forward NN: Forward Pass & Backward Pass

05. Convolutional Neural Network

• History of Neural Network
• History of Convolutional Neural Network
• Applications of CNN

Convolutional Neural Network

• Convolution Layer
  • Spatial Dimension
  • Filter Size & Stride
  • Activation Map
  • Zero-Padding
  • Brain Neuron View of Conv Layer
• Pooling Layer
  • Max Pooling