[DL] 손실함수(Loss Function)

손실함수(Loss Function)이란?

예측값과 실제값의 차이를 비교하기 위한 함수. 최적화를 하기 위해서 최소화를 하는 것이 목적인 함수.

• 목적함수(Object Function), 비용함수(Cost Function) 이라고도 부름
• 손실함수를 통해서 모델 학습 중에 loss가 잘 줄어들지 않는다면 학습이 잘 이루어지지 않고 있다고 판단할 수 있음

손실함수(Loss Function) 종류

Classification을 할 때 Loss Function으로 MSE를 사용하지 않는 이유

1. MSE를 사용한다는 것은 데이터가 정규분포로부터 생성되었다는 것을 가정 → Gaussian prior을 가정한다는 것을 의미

   이진분류할 수 있는 데이터 집합은 정규분포가 아닌 베르누이분포를 따름

   MLE를 사용하면 데이터가 정규분포(잘못된 가정)에서 나온 것으로 가정하고 모델을 최적화하기 위한 비용 함수로 MSE를 사용한다.

2. MSE함수는 이진 분류에 대해서 볼록하지 않음

   

MSE 함수는 실제값의 인풋으로 (-∞, ∞)의 범위를 갖고 binary classification을 할 때는 범위를 (0,1)로 갖기 때문에 손실함수를 최소화할 것이 보장되지 않는다.

만약 분명한 U자 곡선을 그린다면 (아래로볼록=convex하다면) 명확한 최소값 존재

Reference

[1] https://towardsdatascience.com/why-using-mean-squared-error-mse-cost-function-for-binary-classification-is-a-bad-idea-933089e90df7