[TIL] confusion matrix / model selection

confusion matrix
- 모델을 만들때 설명하기 아주 유용함
- f1 score는 precision과 recall을 둘다 보기 위해 많이 쓰임
- 베타를 키웠을 때 recall이 영향이 더 커진다.
- 시나리오에 따라 precision과 recall의 차이를 정확히 알아야 함
- 암진단 recall 중요, 스팸메일 precision 중요
- 비즈니스 시나리오에 따라 달라진다.
- 비즈니스 시나리오에 따라 임계 값을 조절해주어야 함
- 임계값을 조절함으로써 competition에서도 중요
- roc, auc
- accuracy 외에도 여러가지 평가지표가 쓰일 수 있음
model selection
- 교차검증
- 그리드 서치 - 랜덤 서치