손실함수(Loss Function)

일반적인 인공지능 모델의 형태는 입력 값이 들어오면 예측 값을 출력하는 형태이다. 그러면 예측 값이 실제 값과 얼마나 차이가 나는지 판단하는 기준이 필요한데, 그 때 사용하는 것이 손실함수다. 예측 값과 실제 값의 차이를 loss라고 부르며, loss를 최소화시키는 방식으로 학습을 진행한다.

데이터의 특성, 함수의 특성에 따라 적절한 함수를 사용해야 한다.

손실함수의 종류

1. MSE(Mean squared Error) 평균 제곱 오차
   전체 데이터에 대하여 실제 값과 예측 값의 차이를 제곱한 후의 평균 값이다.

MSE의 특징은 실제 정답에 대한 정답률의 오차뿐만 아니라 다른 오답들에 대한 정답률 오차 또한 포함하여 계산한다는 것이다.

2. RMSE(Root Mean squared Error) 평균 제곱근 오차
   $RMSE=\sqrt{\frac{1}{n}\displaystyle\sum_{i=1}^{n}(\hat{Y}_i - Y_i)^2}$

경사하강법(Gradient Descent)

경사하강법은 옵티마이저의 하나로, 기울기를 이용하여 손실 함수의 값이 최대한 작아지도록 모델 파라미터를 조정한다.

경사하강법에서 조정하는 값은 가중치w와 편향b다.

예를 들어 $y=(w-m)^2$이라는 이차함수가 존재한다고 가정하자. 이 함수는 $w=m$일 때 최솟값을 갖는다.

1. $n > m, w=n$일 때
   최솟값을 갖기 위해서는 $w$를 오른쪽(양수)방향으로 이동시켜야 한다. $w=w+$양수 형태로 $w$값을 조정해야 한다.

2. $n < m, w=n$일 때
   최솟값을 갖기 위해서는 $w$를 왼쪽(음수)방향으로 이동시켜야 한다. $w=w+$음수 형태로 $w$값을 조정해야 한다.