정규화를 왜 해야할까요? 정규화의 방법은 무엇이 있나요?

면접 대비 답변

제가 생각하는 데이터를 정규화를 해야하는 이유로는
각 feature들 사이에 값의 차이가 큰 경우 정규화를 통해 모든 feature가 같은 정도의 중요도로 반영되게 하기 위합니다.

1. 큰 값을 가지는 변수에 편향이 되지 않도록 한다.
   특정 변수의 단위가 다른 변수들보다 큰 경우 변수의 영향이 크게 잡힐 수 있습니다. 이를 일정하게 해주기 위합니다.
2. 손실함수의 표면을 매끄럽게 한다.
   정규화를 통해 기울기의 크기를 제한함으로써, 손실 표면을 더 매끄럽게 만듭니다.
3. Gradient Vanishing과 Gradient Exploding 하는 것을 허용하지 않도록 x의 절대값을 특정 범위로 제한하기때문에 최적화가 더 빠르게 이루어 집니다.

정규화 방법으로는 표준정규화와 최소극대 정규화가 있는 것으로 알고있습니다.
표준 정규화는 각 샘플의 평균이 0, 분산이 1이 되도록 하는 것이며, 최소극대 정규화는 데이터를 0~1의 값으로 압축하거나 늘리는 방법입니다.
$x_{scaled}=\frac{x-x_{min}}{x_{max}-x_{min}}$

상세 설명

Reference

• https://hyen4110.tistory.com/20
• https://mole-starseeker.tistory.com/31