이번 주 열심히 달렸다 ..
주말에 다시 열심히 복습하자!
- 오늘 본격적으로 배운 내용을 갖고 classification을 해보는 실습을 했다.
가장 인상 깊게 배웠던 내용은 Acurracy 만으로 모델을 평가하는 것은 부족하다는 것이다.
Precision과 Recall 머신러닝을 공부하며 항상 나오는 내용이지만 박사님이 말씀해주신 것만큼 이전에는 이해하지 못했다.
-
예를 들면 5라는 것을 구분하는 것이고 5라는 것이 전체 데이터의 5%만 차지한다고 한다면
만약 어떤 답이든 false라고 답을 내는 모델을 만들면 결국 accuracy는 95%에 수렴하게 될 것이다.
이러한 모델이 과연 올바른 모델이라고 할 수 있을까? accuracy의 경우 95%여서 매우 높아 보이는데
허나 이 모델은 5를 판별해 내지는 못하는 모델이다. -
precision 이것은 positive라고 모델이 판단한 것 중 진짜 positive인 것의 비율이다. 예를 들면 유투브 영상을 추천해주는 모델이라고 가정을 하자 이때 유투브가 실제 우리에게 다른 영상을 추천을 해줘도 우리에게 큰 risk가 없다 이럴 때는 precision을 더 높이는 방향으로 모델을 만든다.
-
하지만 만약 암 검사를 하는 모델을 만들었을때 실제 암이 있지만, 암이 아니라고 모델이 판단하게되면 이것은 너무나 큰 불행을 만든다. 이럴때는 recall-재현율(실제 positive인 것들 중 모델이 postive라고 판단한 비율)을 높게 만들어야 한다.
즉 모델을 만들 때 모델이 어떤 결과를 초래하는지에 따라 엔지니어 입장에서는 모델의 trade off를 결정할때 precision에 좀 더 의미를 둘지 recall 부분에 의미를 둘지 고민을 해봐야 한다.
아직은 젊고 다양한 도전을 할 수 있을 때 이다. 지금 내가 어떤 행동을 선택할 때는 precision을 recall보다 더 높은 방향으로 설정할 것 같다. 실제 내 선택이 false더라도 그거에 대한 risk가 많이 적고 다시 도전하면 되기에 ... 오늘도 화이팅이다!
