손실 함수 (Loss function) 는, 모델의 예측값과 실제값 간의 차이를 수치화해서 모델이 얼마나 데이터를 잘 학습했는지 그 성능을 측정하는데 사용되는 함수이다. 손실 함수의 값이 작을수록 모델과 데이터 간의 차이가 적은 것이므로 모델의 성능이 더 좋다고 할 수 있다. 머신 러닝의 학습 과정은 이 손실 함수를 최소화 하는 방향으로 진행된다.
cf) 비용 함수 (Cost function) 는 대부분의 경우 손실 함수와 동의어 취급되지만, 비용 함수가 손실 함수보다 조금 더 포괄적인 개념이라고 한다. ref에 따르면, cost function = loss function + regularization 인 듯 하다.
일반적으로 사용되는 손실 함수로는
- 평균 제곱 오차 (Mean Squared Error; MSE) → Regression
- 교차 엔트로피 (Cross-Entropy) → Classification
등이 있다.
References
https://wikidocs.net/120077#google_vignette
https://velog.io/@regista/비용함수Cost-Function-손실함수Loss-function-목적함수Objective-Function-Ai-tech
https://medium.com/analytics-vidhya/l1-vs-l2-regularization-which-is-better-d01068e6658c
Let it code