[ML] 4주차-1 : Neural Networks

k_dah·2021년 11월 18일

MachineLearning_AndrewNg

목록 보기

7/32

Machine Learning by professor Andrew Ng in Coursera

0) Non-linear Hypotheses

linear regression과 logistic regression이 있는데 neural network를 왜 더 배워야 할까

위의 그림과 같이 logistic regression을 통해 non-linear boundary를 만드는 것이 가능하다.

g(\theta_0 + \theta_1x_1+\theta_2x2+\theta_3x_1x_2+\theta_4x_1^2x_2+ ... +\theta_6x_1x_2^2+...)

하지만 위의 상황은 feature가 2개뿐이었기에 가능했다.
대부분의 머신러닝 문제들은 feature가 매우 많다.
원래 feature 개수가 많았다면 위의 방법을 적용하면 그 개수가 엄청나게 늘어나게 된다.
또한 연산량도 증가하고 overfitting 가능성도 높아진다.

1) Model Representation I

Neuron model: Logistic unit

$x_0$ 는 bias unit으로 항상 1의 값을 가지며 굳이 나타내지 않기도 한다.
$h_\theta(x)$ 는 logistic function을 사용하는데, sigmoid activation function (non-linearity g(z)) 이라 부르기도 한다.
$\theta$ 들을 weight 라고 부른다.

이제 여러 개의 뉴런을 살펴보자.

Neural Network

첫 번째 layer : input layer
마지막 layer : output layer
input과 output의 중간 layer들 : hidden layer
- 이때 hidden layer의 node들을 $a_i^{(j)}$ (unit $i$ in layer $j$ )로 나타내고 activation unit 이라고 부른다.

이때 각 activation node의 계산은 다음과 같다.

각 layer는 고유한 weight matrix $\Theta^{(j)}$ 를 갖는다.

만약 network가 layer $j$ 에 $s_j$ 개 unit을 갖고, layer $j+1$ 에 $s_{j+1}$ 개의 unit을 갖는다면 $\Theta^{(j)}$ 의 dimension은 $s_{j+1} \times (s_j + 1)$

2) Model Representation II

Forward propagation: Vectorized implementation

앞의 함수들을 새로운 변수 $z_k^{(j)}$ 를 이용하여 vector로 표현해 본다.

a_1^{(2)} = g(z_1^{(2)})\\ a_2^{(2)} = g(z_2^{(2)})\\ a_3^{(2)} = g(z_3^{(2)})\\

즉, layer $j=2$ , node $k$ 에 대해 $z$ 변수는 다음과 같다.

z_k^{(2)} = \Theta_{k0}^{(1)}x_0 + \Theta_{k1}^{(1)}x_1+ ... + \Theta_{kn}^{(1)}x_n

$x$ 와 $z^j$ 를 벡터로 나타내면

x = \begin{bmatrix}x_0\\x_1\\...\\x_n \end{bmatrix} z^{(j)} = \begin{bmatrix}z_1^{(j)}\\z_2^{(j)}\\...\\z_n^{(j)} \end{bmatrix}

$x=a^{(1)}$ 라 할때 식을 일반화하면,

z^{(j)} = \Theta^{(j-1)}a^{(j-1)}

최종 $z$ vector는 $\Theta^(j-1)$ 다음 행렬과 모든 activation node에서의 값의 곱으로 구한다. 최종 theta matrix $\Theta^{(j)}$ 는 단 하나의 행을 가지므로, 그 결과는 single number가 된다. 최종결과는 다음과 같다.

h_\theta(x) = a^{(j+1)} = g(z^{(j+1)})

마지막 단계에서 layer $j$ 와 $j+1$ 사이에서, logistic regression에서 했던 것과 정확히 같은 방식이 쓰이는 점을 주목하자.
이렇게 중간 layer 들을 쌓아 올림으로써 더욱 복잡한 non-linear hypothesis를 생성해낼 수 있다.