L1, L2 정규화에 대해 설명해주세요.

면접 대비 답변

우선 Weight Regularization(정규화)의 경우에는 Overfitting을 방지하기위해 특정 가중치가 과도하게 커지지 않도록 하는 방법으로 말씀주신 L1, L2 정규화 방법이 있습니다.

L1 정규화는 Cost Function에 가중치의 절대값을 더해주는 방식으로 활용되며, L2 정규화는 가중치의 제곱값을 더해주는 방식으로 하여 가중치가 너무 크지 않은 방향으로 학습되도록 합니다.

L2 의 경우는 각각의 벡터에 대해 항상 Unique한 값이 나오지만, L1의 경우는 특정 벡터가 없어도 같은 값을 생성할 수 있고, 이런 특성으로 L1의 경우는 feature selection의 역할도 가능합니다. 하지만 그 그래프가 다이아몬드 형태를 띄어 미분 불가능점이 발생하여 Gradient-base learning 시에는 문제가 발생할 수 있습니다.

상세 내용

Reference

https://light-tree.tistory.com/125