Accuracy 말고 Recall / Precision / F1 중 무엇을 봐야 하는지 결정해야 하는 단계
🔥 대부분의 불량 검출 모델 → Recall 먼저, 그 다음 Precision, 최종은 F1
1. 각 지표 의미 (불량 검출 기준)
불량 = 1
정상 = 0
이라고 가정
| 지표 | 의미 | 해석 |
|---|---|---|
| Precision | 불량이라고 예측한 것 중 진짜 불량 비율 | 헛불량 줄이기 |
| Recall | 실제 불량 중에서 잡아낸 비율 | 불량 놓치지 않기 |
| F1 | Precision + Recall 균형 | 전체 성능 |
2. 제조 불량 예측에서 중요한 건?
❗ 보통 불량 놓치면 더 큰 문제
불량인데 정상이라고 판단 → 출하됨 → 클레임 / 리콜 / 손실
즉
FN (False Negative)가 가장 위험
FN 줄이려면?
👉 Recall ↑
3. 상황별 추천
✅ 불량 놓치면 큰 문제
- 자동차
- 반도체
- 주조
- 항공
- 의료
👉 Recall 우선
Recall ↑
Precision 조금 낮아도 OK✅ 불량이라고 너무 많이 잡으면 안됨
- 검사 비용 큼
- 재검 비용 큼
- 생산 중단
👉 Precision 중요
✅ 둘 다 중요
👉 F1
4. 데이터 특징
- 불량 적음 (불균형)
- 제조 공정
- 표면 / 구조 불량
- 공정 최적화 목적
이 경우 거의 항상
✅ Recall 우선 + F1 같이 보기
추천
Recall (1순위)
F1 (2순위)
Precision (참고)
Accuracy (거의 의미 없음)5. 실무에서 많이 쓰는 기준
1. Recall ≥ 0.8
2. Precision ≥ 0.5 이상 유지
3. F1 최대 모델 선택or
Recall 최대 모델 중
F1 가장 높은 모델 선택