[Machine Learning] 모델 평가의 개념

모델 평가란?

모델이 얼마나 잘 예측했는지, 또는 얼마나 똑똑하게 학습했는지를 수치로 확인하는 과정

모델 평가가 중요한 이유

• "알아서 훈련이 잘 됐겠지" 하는게 아니라,
• 실제 처음 보는 데이터에 대해서도 잘 맞추는지 확인해야 함.
• 과적합/과소적합 여부도 평가 지표로 판단함

문제 유형에 따른 평가 지표

회귀 문제 (숫자 예측)

회귀 모델은 실제 값과의 에러치를 가지고 계산한다. (평가가 간단한 편)

지표	설명	값이 낮을수록 좋은가?
MSE	제곱 오차 평균	✅ 예
RMSE	MSE에 제곱근 씌운 값 (원래 단위로)	✅ 예
MAE	절대값 오차 평균	✅ 예
R² Score	얼마나 잘 설명했는가 (0~1)	❌ 1에 가까울수록 좋음

분류 문제 (클래스 구분)

분류 모델은 평가 항목이 회귀 모델에 비하여 많다.

지표	설명	목표
Accuracy(정확도)	맞춘 비율	높을수록 좋음
Precision(정밀도)	정답 중 맞춘 비율 (정확하게 골랐냐?)	높을수록 좋음
Recall(재현율)	실제 정답 중 몇 개를 맞췄냐	높을수록 좋음
F1 Score	정밀도 + 재현율의 조화 평균	균형이 중요할 때

➡️ 특히 불균형 데이터(예: 암 진단)에선 Accuracy보다 F1 Score, Recall이 더 중요

평가 흐름

1. 데이터를 train/test 나눔
2. 모델 학습 (model.fit)
3. 예측 (model.predict)
4. 지표로 평가 (mean_squared_error, accuracy_score, 등)

평가 결과가 이상한 경우

현상	원인	대처
Train은 높은데 Test는 낮음	과적합	모델 단순화, regularization
Train/Test 둘 다 낮음	과소적합	모델 복잡도 ↑, feature 추가
지표는 높지만 실제 이상함	지표 선택 문제	다른 지표 같이 보기 (ex. F1, confusion matrix)

요약

모델 평가란, 우리가 만든 모델이 진짜 세상에서도 똑똑하게 굴 수 있는지를 수치로 증명하는 과정이다!