Loss Function

Loss Function은 머신러닝이나 딥러닝 모델이 예측한 값과 실제 값의 차이를 비교하는 함수이다.
이를 통해 모델의 성능을 평가하고 모델이 더 나은 성능으로 개선될 수 있게 한다.

손실함수의 값을 계산하여 모델의 가중치를 계속 업데이트해 모델을 최적화한다.

이러한 Loss Function는 문제 유형과 데이터 특성에 따라 선택하는 Loss Function이 달라진다.

그 중 몇가지를 살펴보자면

Mean Squared Error (MSE)평균 제곱 오차

$$MSE=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

여기서 $y_i$는 실제값$\hat{y}_i$는 예측값이다.
$n$은 데이터의 개수를 나타낸다.

• MSE는 회귀 문제에서 많이 사용되는 손실함수이다.
• 예측값과 실제값의 차이를 제곱한 후 평균을 취하는 방식으로 계산됨.

Cross-Entropy(CE)교차 엔트로피

$$-\frac{1}{n}\sum _{i=1}^n[y_i\log \left({\hat{y}}_i\right)+(1-y_i)\log (1-{\hat{y}}_i)]$$

여기서 $y_i$는 실제레이블(0또는 1).
$\hat{y}_i$는 예측 확률이다(0과 1 사이).
$n$은 데이터의 개수를 나타낸다.

• 분류 문제에서 주로 사용됩니다. 특히 이진 분류와 다중 클래스 분류에서 널리 활용됩니다.
• 교차 엔트로피 손실 함수는 모델의 예측 확률 분포와 실제 레이블(정답) 간의 차이를 측정하는 데 사용됩니다.
• 모델이 예측한 확률이 실제 값과 얼마나 일치하는지를 평가하여, 그 차이가 클수록 손실이 크게 계산됩니다.

이러한 손실함수를 사용하는 이유는 손실함수의 값을 계산하여 모델의 가중치를 업데이트하여 모델의 성능을 최적화하기 때문이다.

또한 손실함수의 값을 최적화하려면 경사하강법을 사용해야한다.

출처:
https://modulabs.co.kr/blog/loss-function-machinelearning
https://wikidocs.net/277027