손실 함수(Loss function)
출력층에서 사용되는 함수로서 출력된 결과값과 실제값의 차이를 계산해줍니다.
손실 함수의 목적은 손실의 정도를 파악하고 줄이기 위해 사용할 수 있는 기준을 정하는데 있습니다.
이 기준을 가지고 편미분과 체인 함수를 통해 가중치를 재조정하며 성능을 개선합니다.
따라서 손실 함수는 학습 결과를 판정할 수 있는 도구이기 때문에 매우 중요합니다.
Binary Crossentropy : 이진분류(0,1)를 예측한 확률값을 실제값(0,1)과 비교하여 얻어낸 차이값에 대하여 패널티를 주는 함수입니다.
Categorical Crossentropy : 실제값이 one-hot encoder 로 인코딩된 값을 다룰 때 사용합니다. 이진분류이지만 3개 이상의 클래스를 예측해야할 때 사용됩니다.
Sparse Categorical Crossentropy: 다중 분류에 사용되지만 정수로 여러 그룹[0,1,2,3] 으로 분류된 정보를 다룰 때 사용합니다.
MeanSquaredError: 회귀 선형과 출력된 값의 차이(에러)를 제곱하여 음수를 제거하여 나타내는 함수입니다.
역전파
#Backward Propagation
#정의: 출력층에서 손실 함수를 통해 가중치 갱신 한 후 입력층 방향으로 전달하는 과정.
#설명: 신경망 학습 과정에서 마지막 단계입니다. 입력층에서 은닉층으로 순전파된 가중치를 출력층에서 손실함수로
실제값과 얼마나 차이가 있는 지 확인하여 업데이트된 가중치를 바로 이전 단계로 넘겨주며 역전파(backward propagation)이 시작됩니다.
역전파과정에서 각 노드에 가중치를 업데이트를 하기 위해 체인 함수를 이용합니다. 만약 다수의 노드에서 갱신된 가중치의 합이 필요하다면 모두 계산을 해야 합니다.
역전파가 입력층까지 도
