더 공부하고 싶은 내용

하이퍼 파라미터 튜닝, 특성공학

1. 사실

이번 한 주동안 캐글대회를 기반으로 decision trees, random forests, evaluation metrics for classification, model selecion등을 배웠다.

2. 느낌

모델의 성능개선이 재밌으면서도 어렵게 느껴졌다.
처음 배운대로 모델을 만든 후에, 나만의 방법으로 개선해서 점수가 올라갔을 때 쾌감을 느꼈다.
하지만 기쁨도 잠시, 아무리 하이퍼 파라미터를 조절하고 여러 방법을 사용해도 점수가 안올라가서 답답했다.
점수가 이제는 안오를것 같았고, 다른 사람들은 어떻게 저렇게 점수가 높은지 궁금했다.
그래도 다시 내 모델을 고쳐보고, 새로운 방법도 시도하는 수밖에 없다고 생각이 들었다.

3. 교훈

모델 실험을 체계적으로 정리할 필요가 있다는 교훈을 느꼈다.
여러가지 시도를 하다보니, 내가 어떤 방식을 썼는지 점수가 몇점이었는지가 뒤죽박죽 섞여있다.
하이퍼파라미터 튜닝 할때도 수치랑 결과를 메모장에 그냥 적어놓고 있다..
이렇게 정리가 안되어있으니 시간도 낭비되고, 어떤 부분이 중요한 요인인지 파악하기가 힘들었다.

4. 향후 행동

1. 모델링 결과들 체계적으로 정리
2. 새로운 관점으로 접근해보기(특성 중요도, 특성 스케일링 중심!)