변수 선택 방법

변수를 선택하는 방법으로는 일변량 통계, 모델 기반 선택, 반복적 선택이 있다.

ex. 기본 트리 모델을 활용해 변수들을 하나씩 넣고 제거하면서 변수들의 조합을 찾는 A/B 테스트

1. 트리 계열의 모델과 기본 변수를 설정
   • RandomForestRegressor()을 모델로 지정하고, A-Z의 변수 중에서 A, B를 기본 변수로 설정
2. 기본 변수만 가지고 설정한 모델의 성능을 확인
   • A, B만을 변수로 가진 RF의 성능을 교차 검증을 통해 확인
3. 기본 변수에 하나씩 변수를 추가해 성능이 향상된다면 그대로 두고, 향상되지 않으면 제거. 이를 반복하여 변수를 선택

모델별로 다르게 변수가 선택될 수 있으므로 모델마다 판단해볼것. 위의 경우는 전진선택법이다.