[ML] 손실 함수(loss function), 비용 함수(Cost Function)란?

손실 함수(loss function)란 무엇이며, 왜 중요한가요?

1. 손실 함수(loss function)란?

손실 함수(Loss Function)란 머신러닝 모델에서 예측 값과 실제 값의 차이를 측정하는 함수이다. 이 값은 모델이 얼마나 잘못 예측했는지 알려주는 오류의 척도로 사용된다.

예를 들어 실제 값이 10이고, 모델의 예측 값이 8이면 차이는 |10-8| = 2이다. 이 차이를 손실 함수로 계산하여 학습의 척도로 삼는다.

따라서 손실 함수는 예측 오차를 최소화하도록 학습의 목표와 방향을 제시하며, 이는 모델 성능을 평가할 기준으로 사용되기 때문에 중요한 개념이다.

2. 비용 함수(Cost Function)

손실 함수가 단일 데이터에 대해 계산된 오차를 나타낸다면, 비용 함수는 데이터셋 전체에 대해 계산된 손실값을 나타낸다. 비용 함수는 손실 함수 값을 바탕으로 만들어지며, 머신러닝 모델은 비용 함수를 최소화하도록 학습한다.

3. 비용 함수의 종류

1) 평균 제곱 오차(MSE, Mean Squared Error)

회귀(Regression) 문제에서 자주 사용되는 MSE가 비용 함수의 대표적인 예이다.

MSE는 실제 값과 예측 값의 차이를 제곱한 뒤, 전체 데이터에 대해 평균을 구한다. 즉, 모든 데이터의 손실을 평균내어 비용을 계산하는 것이다.

2) 이진 교차 엔트로피(Binary Cross-Entropy)

분류(Classification) 문제에서 자주 사용되는 이진 교차 엔트로피도 비용 함수의 대표적인 예이다.

이진 교차 엔트로피는 이진 분류 문제에서 예측 확률과 실제 값의 차이를 계산한다.