머신러닝 성능평가지표

모델 평가 지표에 대해 아주 간단히 담았습니다.

1. Accuracy (정확도)

• 전체 예측 중 올바르게 예측한 비율을 나타냅니다.
• 정확도는 모델의 전반적인 성능을 나타내지만, 불균형한 데이터셋에서는 적절하지 않을 수 있습니다.

2. Precision(정밀도)

• 모델이 positive로 예측한 것들 중 실제로 positive인 비율입니다. False Positive를 최소화하는 데 중요합니다
• 모델의 Positive 예측의 신뢰성을 평가합니다.
• 이미 스팸으로 분류한 것 중 얼마나 실제로 스팸인가.

3.Recall(재현율)

• 실제 positive 샘플 중 모델이 positive로 예측한 비율입니다. False Negative를 최소화하는 데 중요합니다
• 모델이 실제 Positive 샘플을 얼마나 잘 감지하는지 평가합니다.
• 암 환자 100명 중 90명을 선별 → 재현율 90%, 이미 선별된 샘플 중 얼마나 선별할 수 있나.

4. F1 Score(F1 점수)

• 정밀도와 재현율의 조화평균으로, 두 지표 간의 균형을 평가합니다

5.ROC 곡선과 AUC

• ROC 곡선은 다양한 임계값에서의 True Positive Rate(재현율)와 False Positive Rate(실제 Negative 샘플 중에서 모델이 Positive로 잘못 예측한 비율)의 관계를 보여주며, AUC는 ROC 곡선 아래의 면적을 계산한 값을 나타냅니다.

5.MAE (Mean Absolute Error, 평균 절대 오차)

• 실제값과 예측값의 절대 오차의 평균을 측정합니다
• 예측 오차의 크기를 직관적으로 알 수 있다.

6.MSE (Mean Squared Error, 평균 제곱 오차)

• 실제값과 예측값 차이의 제곱 평균을 측정합니다.
• 큰 오차에 더 큰 가중치를 부여하므로, 큰 오차를 줄이는 데 중점을 둘 때 사용됩니다.
• 예를 들어, 자동차 시세 예측 모델에서 실제값과 예측값의 큰 차이를 줄이고 싶을 때 MSE를 기준으로 모델을 개선할 수 있습니다