[Regression Problem] Penalty Term
전통적인 Feature Selection 방법의 단점
- 전통적인 Feature Selection 방법은 Variables가 커짐에 따라 시간이 매우 오래 걸리게 됨
- Forward Selection, Backward Elimination, Stepwise Selection의 경우 최적 Variables Subset을 찾기 어려움
- 즉, 가성비가 떨어짐 (Computing Power, Time, Result . . .)
Feature Selection 종류
- Filter Method : X’s와 Y의 Correlation, Chi-Square Test, Anova, Variance Inflation Factor 등 간단한 기법으로 Filtering 수행
- Wrapper Method : Forward Selection, Backward Elimination, Stepwise Selection을 활용한 Feature selection
- Embedded Method : Regularization Approach를 활용하여 Model이 스스로 Feature Selection을 진행하는 방법
Embedded Method 장점
- Wrapper Method와 같이 Features의 상호작용을 고려함
- 다른 방법 보다 상대적으로 시간을 Save할 수 있음
- Model이 Train하면서 Feature의 Subset을 찾아감
Penalty Term 기본 사상
- Penalty는 축구 경기에서 반칙을 했을 때 부여하는 “벌”의 개념임
- Model에서는 불필요한 Feature에게 “벌”을 부여해서 학습하지 못하게 해야 함
- Error를 Minimize 하는 제약 조건에서 필요 없는 Feature의 β(계수)에 Penalty를 부여 함
