CS231n: Convolutional Neural Networks for Visual Recognition

leejaylight·2020년 10월 10일
0

청년 AI / Big Data 교육에서 Big Data 파트가 끝나고 AI 파트로 들어오면서, 여러 소스를 한번에 활용해 공부를 하다보니 배운걸 또 배우고 개념이 얽히고 섥혀가는 느낌이었는데, 보는 책, 강의마다 공통적으로 추천하는 CS231n 강의를 통해 개념을 재정리하기로 마음먹고 별도로 공부 중

워낙 유명한 강의이다보니 한글 자막 자료도 좀 있고, 강의노트를 정리한 블로그도 넘쳐나서 다행히 이해하는데는 큰 무리가 없을 것 같다. 다만 AI 프로젝트 및 교육 기간인 10월 내에 끝낼 수 있을지는 아직 미지수...

강의 자료

강의 Page

2017년 Spring 강의 - Youtube, Page

진도

01. Introduction

A Brief Histroy of Computer Vision

02. Image Classification Pipeline

Image Classification

  • Chllenges of Recognition
  • Data-Driven Approach

Nearest Neighbor

  • Distance Metric: L1 Distance & L2 Distance
  • K-Nearest Neighbors
  • Hyperparameters & How to Set

Linear Classification

  • Basic Block of Neural Network
  • Parametric Approach
  • x (Input) & W (Parameter) & Score

03. Loss Function and Optimization

Loss Function

  • Loss Function: Multiclass SVM (Hinge Loss)
  • Regularization: L2 Regularization
  • Loss Function: Multinomial Logistic Regression (Softmax Loss)

Optimization

  • Random Search
  • (Numeric Gradient) Finite Difference Methods
  • (Analytic Gradient) Gradient Descent
    Stochastic Gradient Descent

Image Feature (참고)

  • Color Histogram, HoG, Bag of Words

04. Backpropagation and Neural Networks

Backpropagation

  • Computational Graph (함수 풀어쓰기)
  • Patterns in Backward Flow
    add gate, max gate, mul gate
  • Gradients for Vectorized Code
  • Modularized Implementation: Establishing Forward / Backward API

Neural Network

  • 2-layer Neural Network
  • Biological Neuron & Compuational Node (참고)
  • Activation Functions & Architecture of NN
  • Feed-Forward NN: Forward Pass & Backward Pass

05. Convolutional Neural Network

  • History of Neural Network
  • History of Convolutional Neural Network
  • Applications of CNN

Convolutional Neural Network

  • Convolution Layer
    • Spatial Dimension
    • Filter Size & Stride
    • Activation Map
    • Zero-Padding
    • Brain Neuron View of Conv Layer
  • Pooling Layer
    • Max Pooling

0개의 댓글