개요

모델이 과도하게 복잡해져서 일반화 성능이 떨어지는 문제를 완화하기 위하여, 모델의 파라미터나 구조에 인위적으로 패널티를 부과하는 기법이다. Overfitting을 방지하고, 모델 복잡도를 제어한다.

LASSO (Least Absolute Shrinkage and Selection Operator)

L1 Regularization을 적용한다. 낮은 회귀 계수는 강제로 0으로 조절하여 변수 선택 효과가 발생한다. alpha 값을 조정하여 사용자 정의 가능하며, 일반적으로 작은 값 (ex. 0.1)에서 시작하여 조정한다. 모델이 단순해지면, 중요한 변수만 남는다.

Ridge

L2 Regularization을 적용한다. 회귀 계수의 크기를 줄이고, 낮은 회귀 계수는 0에 가깝게 처리하여 다중공선성 문제를 완화한다. 변수 선별/제거 없이 처리된 변수를 모두 반영한다.