[딥러닝] 밑시딥 (2) 신경망

3.1 퍼셉트론에서 신경망으로

퍼셉트론은 복잡한 함수가 표현 가능하지만 가중치를 설정하는 작업은 사람이 수동으로 해야 한다는 단점을 지닌다. 그러나 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력을 가지며 퍼셉트론의 한계를 극복한다.

3.1.1 신경망의 예

신경망은 그림처럼 입력층, 은닉층, 출력층으로 나타난다.
입력층은 0층, 은닉층은 1층, 출력층은 2층으로 구별하기도 한다.

💡신경망이 3층으로 구성되어도 가중치를 갖는 층은 2개이므로 '2층신경망' 이라고 일컫는다. 

그렇다면 신경망에서는 신호를 어떤 방식으로 전달할까?

3.1.2 퍼셉트론 복습

$y$ = 0 ( $b$+$w_1x_1$+$w_2x_2$ $\leq$ 0 )
= 1 ( $b$+$w_1x_1$+$w_2x_2$ $\gt$ 0 )

여기서 $b$는 편향을 나타내는 매개변수로 뉴런이 얼마나 쉽게 활성화되는지를 제어한다.
$w_1$과 $w_2$는 각 신호의 가중치를 나타내는 매개변수로 각 신호의 영향력을 제어한다.

편향이 명시된 퍼셉트론은 다음 그림과 같이 나타낼 수 있다.

이 그림에서는 가중치가 $b$이고 입력이 1인 뉴런이 추가되었다.

이 퍼셉트론 동작은 $x_1$, $x_2$, 1이라는 3개의 신호가 뉴런에 입력되어 각 신호에 가중치를 곱한 후, 다음 뉴런에 전달된다.
다음 뉴런에서는 이 신호들의 값을 더하여 그 합이 0을 넘으면 1을 출력하고 그렇지 않으면 0을 출력한다.

위에서 언급한 식을 더 간결한 형태로 작성해본다.

$y$ = $h$($b$ + $w_1x_1$ + $w_2x_2$ )

$h(x)$ = 0 ($x$ $\leq$ 0) , 1($x$ $>$ 0)

$h(x)$ 라는 함수를 거쳐 반환되어, 변환된 값이 $y$의 출력이 된다.

이때 $h(x)$을 활성화 함수라고 한다.

3.1.3 활성화 함수의 등장

입력신호의 총합을 출력신호로 변환하는 함수를 활성화함수라고 한다.

💡'활성화'라는 이름에서 알 수 있듯 활성화 함수는 입력 신호의 총합이 활성화를 일으키는지를 정하는 역할