[ML] Feature Selection(특성 선택)

Feature Selection ( 특성 선택)

가지고 있는 특성 중 훈련에 가장 유용한 특성을 선택하는 것

Filter Methods

통계적 상관관계를 이용하여 전처리에서 선택

• information gain : 가장 많은 정보를 제공하는 기능 선택
• chi-square test : 결과가 기능과 독립적인지 확인하는 데 사용, p-값이 낮은 특성 선택
  ※ p-값
  관찰된 데이터가 귀무가설과 양림하는 정도를 0에서 1 사이의 수치로 표현한 것
  p-값이 작을수록 그 정도가 약하다고 보며 특정값보다 작을 경우 귀무가설을 기각하는 것이 관례
• correlation coefficient : 목표변수와 상관관계가 높은 특성 선택
• variance threshold : 분산이 더 높은(데이터 변형이 큰) 기능 선택
  

Wrapper Methods

가장 이상적인 Feature의 조합을 찾는 방식으로 Feature을 다르게 조합하여 모델 학습을 진행

• recursive feature elimination(RFE) : SVM을 사용하여 재귀적으로 제거
• sequenitial feature selection (SFS) : greedy 알고리즘으로 빈 subset에서 피처를 하나씩 추가
• 모델 기반 : cross-validation으로 테스트할 셋을 따로 두어야 함
  

Embedded Methods

-모델의 학습 및 생성 과정에서 최적의 Feature 선택
-특성 선택과 규제화를 결합, 모델의 복잡성 감소, 과적합 방지

• LASSO : L1-norm을 통해 제약을 주는 방법
• Ridge : L2-norm을 통해 제약을 주는 방법
• Elastic Net : 위 2개 방법을 선형결합한 방법