Regularized Regression-Lasso Regression

Lasso Regression (with L1 regularization)

이전 포스터에서 제시한 정규화 회귀모형인 Ridge와 가장 큰 차이점은 Lasso의 경우 Shrinkage penalty에서 회귀계수들의 절댓값의 합을 이용한다는 점입니다.

제약 조건이 절대값이라 마름모꼴로 형태가 표현할 수 있습니다. Optimal value가 모서리 부분에서 나타날 확률이 Ridge에 비교적 높기 때문에 유의미하지 않다고 판단되는 변수들에 대한 Coefficient를 0으로 추정해 주어 변수 선택을 하여 Feature Selection으로 활용할 수 있는 이점이 있습니다.

References

http://www.stat.cmu.edu/~ryantibs/advmethods/notes/highdim.pdf
http://www.incodom.kr/Lasso_regression