✔️ 인공 신경망의 기본 원리
-
선형 분리가 가능한 형태로 구성하는 것
-
비선형 문제를 하나의 퍼셉트론이 아닌 여러개의 퍼셉트론을 사용하여 계층을 쌓아가면서 해결을 하는 것 ❗
❓❓❓ 그렇다면 퍼셉트론이 학습하는 방법은 ❓❓❓
✔️ Error Backpropagation이란?
다층 퍼셉트론이 학습하는 방법 👍
-
오류 역전파의 경우에는 경사하강법을 기반으로 학습하는 것이라고 생각하면된다.
-
forward : 먼저 입력층의 입력으로 부터 출력층 까지 결과 값을 계산을 한다.
😮 계산 된 예측값과 실제 값의 차이가 나타나게, 되는데 결국 차이가 나타난다는 것은 가중치의 값이 정확하지 않다는 것이다 ❗
-
backwad : 해당 오류를 기반으로 역방향으로 가중치를 학습 시키는 방식이라고 생각하면 된다.
🤞TIP. 오차가 커질수록 변경 되는 것은 많아진다.
✔️ MLP 학습 과정
1. 먼저 임의의 값으로 가중치를 초기화 시키고 입력층의 입력 데이터로 부터 출력층의 예측 값을 예측해낸다.
2. 예측 값과 실제 값의 차이를 구한다.
3. 해당 오류를 이용하여 오차가 가장 최소가 되는 지점을 찾기 위해서 가중치를 갱신시킨다.
4. 오차가 작아질때 까지 해당 과정을 반복한다.
1 단계 - 전방 계산
-
전방 계산의 방법은 먼저 입력된 값을 이용하여 출력 값을 결정한다.
-
어파인 함수를 이용하여 값을 먼저 구한 후, 활성화 함수로 최종 결과값을 구한다.
2 단계 - 비용 함수 정의
-
출력 벡터와 목표 벡터(label)을 이용하여 손실 함수 및 비용 함수를 정의한다.
-
출력값과 실제 값을 비교하여 비용 함수(MSE)를 적용한다.
-
해당 오차를 이용하여 비용 함수에 대한 경사 하강법을 적용하여 해당 결과를 차례대로 back 방향으로 가중치를 갱신시키는 방법을 사용한다.
3 단계 - 최적의 가중치 계산
-
오류를 줄여주는 방향으로 가중치를 수정한다.
-
경사 하강법을 사용한다.
-
역방향으로 계산을 할때 이전노드에서 들어온 값과 해당 노드에서의 값을 곱해주면 된다 ➡️ 얼마나 현재 값에 영향을 미치는가에 대해서 구하는 것이다.
