Norm (L1, L2 Norm) 개념 정리

이 문서는 선형대수학과 머신러닝에서 자주 등장하는 벡터의 Norm(놈) 개념을
L1 Norm, L2 Norm 중심으로 정리한 학습 기록
벡터의 크기 또는 길이를 측정하는 방법으로, 정규화, 거리 계산, 정규화 손실 함수(Loss) 등에서 활용된다.

---

1. Norm이란?

• Norm은 벡터 공간에서 벡터의 크기(길이)를 측정하는 방법
• 일반적으로 함수처럼 ||x||로 표기하며, 항상 0 이상의 실수값을 가진다.
• Norm은 모든 방향 성분을 포함한 스칼라 크기로 요약해주는 역할을 한다.

---

2. Norm의 수학적 성질

• 항상 0 이상의 값을 가짐: ||x|| ≥ 0
• 벡터가 0일 때만 0: ||x|| = 0 ⇔ x = 0
• 스칼라 곱에 대한 동차성: ||αx|| = |α| · ||x||
• 삼각 부등식 만족: ||x + y|| ≤ ||x|| + ||y||

---

3. L1 Norm (맨해튼 거리)

• 각 성분의 절댓값의 합으로 정의됨
• 수직·수평 거리의 총합으로, 맨해튼 거리(Manhattan distance)라고도 불림

L1(x) = ||x||₁ = ∑ |xᵢ|

예시 (2차원 벡터)

x = [3, 4]
||x||₁ = |3| + |4| = 7

---

4. L2 Norm (유클리드 거리)

• 각 성분의 제곱합의 루트로 계산
• 유클리드 거리(Euclidean distance)를 의미하며, 가장 일반적인 거리 개념

L2(x) = ||x||₂ = sqrt(∑ xᵢ²)

예시 (2차원 벡터)

x = [3, 4]
||x||₂ = √(3² + 4²) = √25 = 5

---

5. L1 vs L2 Norm 비교

구분	L1 Norm	L2 Norm
계산 방식	절댓값 합	제곱합의 루트
거리 해석	맨해튼 거리	유클리드 거리
특징	희소성 유도 (sparse)	부드러운 최적화 가능
활용	Lasso 회귀 (L1 정규화)	Ridge 회귀 (L2 정규화)

---

6. Norm의 활용 예시

• 정규화 (Normalization)
  데이터 스케일 조정을 위해 벡터를 1의 길이로 만듦 → x_normalized = x / ||x||

• 머신러닝 모델 정규화

  • L1 정규화: 특성 선택 효과 → 희소성 (Lasso)
  • L2 정규화: 가중치 분산 억제 → 안정적 학습 (Ridge)

• 거리 기반 알고리즘

  • KNN, SVM, KMeans 등 거리 계산에 Norm이 핵심

---

7. 느낀 점

Norm은 단순한 수학 개념처럼 보이지만,
머신러닝에서 정규화, 거리 측정, 손실 함수 등 핵심 요소에 모두 관여하는 중요한 개념이었다.
특히 L1과 L2 Norm의 차이와 활용 목적의 차이를 이해하고 나니,
정규화 기법이나 회귀 알고리즘 선택 시 기준을 세우기 쉬워졌다.

---