[Regression Problem] Regularized Model-ElasticNet

ElasticNet Regression

---

• Ridge + LASSO = ElasticNet

• ElasticNet은 Ridge의 $𝑳_𝟏$−𝑛𝑜𝑟𝑚 과 LASSO의 $𝑳_𝟐$−𝑛𝑜𝑟𝑚 을 섞어 놓았음 (두 개의 장점 사용 가능)
  

• $λ_𝟏$ : LASSO Penalty Term (Feature Selection)

  • $λ_𝟏 = 0$ → Ridge Regression

• $λ_𝟐$ : Ridge Penalty Term (다중공선성 방지)

  • $λ_𝟐 = 0$ → Lasso Regression

• ElasticNet은 Correlation이 강한 변수를 동시에 선택/배제하는 특정을 가지고 있음
  

• 일정 범위 내로 $λ_𝟏$ , $λ_𝟐$ 를 조정하여, 가장 좋은 예측 결과를 보이는 $λ_𝟏$ , $λ_𝟐$ 를 선정함

• Ridge, LASSO 보다 더 많은 실험이 필요하다는 단점이 존재함
  

해공간

Penalty Term

Ridge, LASSO, ElasticNet 외

---

Prior Knowledge	Regularization Method
상관관계 높은 변수들 동시에 선택	Elastic Net
인접한 변수들 동시에 선택	Fused Lasso
사용자가 정의한 그룹 단위로 변수 선택	Group Lasso
사용자가 정의한 그래프의 연결 관계에 따라 변수 선택	Grace