딥러닝개론

Week1

• Timeline

딥러닝은 머신러닝의 부분집합 관계

(딥러닝이 아닌) 머신러닝 – 사람의 힘을 통한 feature extraction 후 classification을 진행.
x – f(x) - y의 y를 찾는 것이 1차적 목적

딥러닝 – Neural Network를 통해 Feature extraction과 classification을 동시에 진행, 그렇기에 더 많은 데이터를 요구.
x – f(x) - y의 f를 찾는 것이 1차적 목적

Algorithm Method
: knowledge-based : 지식의 논리 구조에 집중 / Learning-based : 두뇌 모방에 집중(<< 딥러닝)

딥러닝의 Key components : Model / Data / Loss / Optimizer
(ex. 2D = CNN, 음성과 같은 time series = RNN)

MLP는 2D를 vectorization 하면 공간 정보를 잃게 됨.
-> CNN이라는 모델 등장 (Locality(영역정보) 와 Translation invariance)

Time series data(주식 차트, Natural Language Processing(자연어 처리)) 시 이전 정보들을 포함해야 함.
-> RNN

---

Week2

Machine Learning Summary

classification – supervised/discrete
clustering – unsupervised/discrete
regression – supervised/continuous
dimensionality reduction – unsupervised/continuous (ex. autoencoder)

• Key component of Deep Learning

1. Data - (x1, y1), (x2, y2)
2. Model - y = wx + b
3. Loss E = min ( yi- (wxi+b) )
4. Optimizer = argmin w,b -> Gradient descent

• Classifier

1. K-NN
   f(x) = label of the training example nearest to k개의 x, 학습 필요 X
2. Logistic regression
   sigmoid 함수를 이용한 회귀분석 - categorical data 예측 (ex. yes/no)
3. Support Vector Machine
   margin을 최대화하는 decision boundary를 통한 classify

• Clustering
  (ex. image segmentation)

1. k-means clustering
   k를 정해주면 random point를 잡은 뒤 point와 가장 가까운 sample을 뽑고 sample의 중간값으로 point를 재설정

• Regression

1. Linear Regression

• Dimension Reduction

1. Principal Component Analysis