Regularization과 Normalization은 흔히 혼동되는 단어이다. 한국어로 번역했을때 두 개념 모두 '정규화'라고 번역될 때가 있기 때문이다.

Regularization

정칙화라고 불리며 오버피팅 (Over Fitting)을 해결하기 위한 방법중 하나이다. L1, L2 Regularization, Dropout, Batch Normalization등이 있다. 오버피팅은 과적합이라고 불리며, train set은 잘 맞추지만 validation/test set을 맞추지 못하는 현상을 말한다. 이를 해결하기 위해 제안된 다양한 Regularization 기법들은 모델의 train loss를 낮추는데 집중하여 과적합하지 않도록 하는 효과를 가진다.

Normalization

정규화라고 불리며, 데이터의 형태를 조금 더 의미있게, 혹은 트레이닝에 적합하게 전처리하는 과정을 말한다. 데이터를 z-score로 바꾸거나 minmax scalar를 이용하여 0과 1사이의 분포값을 갖게 한다. 즉, 모든 피처의 범위 분포를 동일하게 하여 모델이 풀어야하는 문제를 좀 더 간단하게 바꾸어주는 전처리 과정이다.