Deep Learning

Neural Network

Problem: Linear Classifiers의 한계

• 데이터를 선형으로 분류할 수 없는 경우도 있다.
  • 
  • Solution: Feature 변환
    • $r=\sqrt{(x^2+y^2)}, \theta=\tan^{-1}(\frac{y}{x})$
    • 데이터는 변환 전후로 고유한 matching이 가능해야 한다.
    • 데이터 분석이 가능해야 한다. 고차원의 경우 데이터 분석이 불가능한 경우가 더 많다.
    • 악성코드나 데이터 이동 등, 데이터가 변하지 않아야 한다.
• 하나의 이미지 템플릿으로 class를 구분할 수 없는 경우가 있다.

Neural Network의 등장

1. Before: Linear Classification
   $f=Wx \\ x\in\mathbb{R}^D, W\in\mathbb{R}^{C\times D}$
   • $f=W_3W_2W_1x$와 같이 선형 연산을 반복하여도 결과는 동일하다.
   • 선형 연산을 반복하면 XOR 같은 복잡한 문제를 해결할 수 없다.
2. Now: N-layer Nerual Network
   $f=W_2\max(0,W_1x) \\ W_2\in\mathbb{R}^{C\times H}, W_1\in\mathbb{R}^{H\times D}, x\in\mathbb{R}^D$
   • 벡터 내적(선형 연산)을 반복하는 문제를 해결한다.
   • 연산의 순서가 결과에 큰 영향을 미친다.
     • $W_2W_1\neq W_1W_2$

• Activation Functions
  • 선형 Layer을 중첩할 때 비선형성을 추가하여 표현력을 높이는 역할
  • ReLU: $\max(0, z)$
  • NN에서 활성화함수가 없으면 layer를 아무리 중첩하여도 선형 분류기에 그치게 된다.
  • Sigmoid: $\sigma(x)=\frac{1}{1+e^{-x}}$
  • Tangent: $\tanh(x)=\frac{e^x-e^{-x}}{e^{x}+e^{-x}}$
  • ReLU: $\max(0,x)$
  • Leaky ReLU: $\max(0.1x, x)$
  • Maxout: $\max(w_1^Tx+b_1,w_2^Tx+b_2)$
  • Exponential Linear Unit: $f(x)=\begin{cases} x & x\geq0 \\ \alpha(e^x-1) & x<0 \end{cases}$
• Hidden Layer를 거치면 output 벡터에서 하나의 값을 결정하는 데 모든 원소가 관여하게 된다.
  • 
  • $h=\max(0,W_1x)=\begin{bmatrix} h_1 \\ h_2 \\ h_3 \end{bmatrix}, W_2=\begin{bmatrix} A_1 & B_1 & C_1 \\ A_2 & B_2 & C_2 \\ A_3 & B_3 & C_3 \end{bmatrix}$
  • $S=\begin{bmatrix} A_1h_1+B_1h_2+C_1h_3 \\ A_2h_1+B_2h_2+C_2h_3 \\ A_3h_1+B_3h_2+C_3h_3 \end{bmatrix}$
  • $h$의 원소를 결정하는 데 $x$의 모든 원소가 영향을 미치고, $h$의 원소는 $s$를 결정하는 데 영향을 미친다.
  • 모든 데이터를 하나의 template으로 처리하는 template matching의 단점을 극복한다.
    • 하나의 class score를 결정할 때 다른 class가 서로 섞여 영향을 주어 표현력이 높아진다.
    • 다양한 템플릿을 사용하여 클래스의 여러 형태를 다룰 수 있다.
    • 결과적으로 해석이 어려운 filter가 도출된다.