L1 Norm과 L2 Norm, 뭐가 다를까? 예제로 쉽게 이해하기

1. L1 Norm (맨해튼 거리, Manhattan Distance)

• 각 요소의 절댓값 합을 의미합니다.

• 공식:

  $\| \mathbf{x} \|_1 = \sum_{i=1}^n |x_i|$

• 이동 경로가 바둑판(Manhattan)처럼 직선으로만 움직이는 경우의 거리.

예제:

x = [3, -4]
L1_norm = |3| + |-4| = 3 + 4 = 7

2. L2 Norm (유클리드 거리, Euclidean Distance)

• 각 요소의 제곱합의 제곱근을 의미합니다.

• 공식:

  $\| \mathbf{x} \|_2 = \sqrt{\sum_{i=1}^n x_i^2}$

• 직선 거리 (피타고라스의 정리처럼 사용됨).

예제:

x = [3, -4]
L2_norm = √(3² + (-4)²) = √(9 + 16) = √25 = 5

---

3. 차이점 요약

항목	L1 Norm	L2 Norm
정의	절댓값들의 합	제곱합의 제곱근
별명	Manhattan Distance	Euclidean Distance
민감도	이상치(Outlier)에 덜 민감함	이상치에 더 민감함
사용처 예시	희소성(sparsity)을 유지할 때	부드러운 최적화를 원할 때

---

간단한 활용 예시

• L1 Norm: Lasso Regression에서 가중치에 희소성을 주기 위해 사용됨.
• L2 Norm: Ridge Regression에서 과도한 가중치를 줄이기 위해 사용됨.