Loss function, cost function 차이점

Loss Function

• 정의: 개별 훈련 예측의 오차를 측정한다.
• 용도: 각 데이터 포인트에 대해 모델의 예측이 실제 값과 얼마나 다른지를 계산한다.
• 예시: MSE (Mean Squared Error), MAE (Mean Absolute Error), Cross-Entropy Loss 등.

Cost Function

• 정의: 전체 훈련 세트의 오차를 측정한다
• 용도: 모델의 전체 성능을 평가하기 위해 모든 훈련 샘플에 대한 손실 함수의 평균 또는 합계를 계산한다.
• 예시: 전체 훈련 세트에 대한 평균 손실(MSE, Cross-Entropy 등).

요약

• Loss Function: 개별 데이터 포인트에 대한 오차를 계산.
• Cost Function: 전체 데이터 세트의 평균 오차를 계산.

+α

• Cost Function은 Loss Function의 평균 또는 합계이다
• Loss Function이 개별 샘플의 성능을 측정하는 반면, Cost Function은 모델 전체의 성능을 평가한다
• Cost Function은 여러 Loss Function 값을 합산하거나 평균하여 계산된다

학습회고

• 기존에 데이터마이닝 수업을 통해 Loss function과 Cost function에 대해서 알고있다고 생각했다.
• but 딥러닝 공부를 시작하게 되면서 다시 개념을 되집어 보니 잘못 알고있음을 알게되었고
  앞으로 딥러닝 공부를 하면서 헷갈리는과 새롭게 알게된 개념에 대해서 정리하고자 한다.