딥러닝 - 신경망의 구조

퍼셉트론

• 신경망은 그래프 형식으로 표현되며 원으로 표현된 노드들을 에지라고 부르는 짧은 선으로 연결한 모습이다.
• 신경망을 이루는 가장 기본 단위는 퍼셉트론이며 입력 값과 활성화 함수를 사용해 출력 값을 다음으로 넘기는 가장 작은 신경망 단위이다.

1. 가중치, 바이어스, 활성화 함수, 가중합

• y = ax+b -> y= wx+b(w는 가중치, b는 바이어스) ==> 가중합
• 기울기 a는 퍼셉트론에서 가중치를 의미하는 w(weight)로 표기한다.
• y 절편 b는 편향이라는 뜻인 바이어스(bias)에서 따온 것이다.
• 여기서 가중합 결과를 놓고 1 또는 0을 출력해서 다음으로 보내는데 이를 판단하는 것이 '활성화 함수'이다.

2. 다층 퍼셉트론

• 입력층의 출력층 사이에 은닉층을 추가한 것
• 임의의 가중치를 선언하고 결괏값을 이용해 오차를 구하고, 오차가 최소인 지점으로 계속해서 이동시킨다.
• 이 오차가 최소가 되는점(미분했을 때 기울기가 0이되는 지점)을 찾는 것이 목표이다.
• 이때 다층 퍼셉트론에서의 최적화 과정을 오차 역전파(error backpropagation)라고 한다. (feat, feedfoward 순전파)