📌 Feature Scaling

Feature Scaling 이란, 머신 러닝 모델에 사용할 입력 변수들의 크기를 조정해서 일정 범위 내에 떨어지도록 바꿔주는 것을 말한다. Feature Scaling을 하게 되면 경사 하강법을 더 빠르게 할 수 있게 되는데 그 이유는 무엇일까?

📌 Feature Scaling과 경사 하강법

먼저 3차원으로 나타낸 손실 함수 그래프를 등고선을 이용해서 2차원으로 표현해보면 다음과 같다.

등고선에서 이어진 하나의 선에 있는 점들은 모두 같은 높이에 있는 점들 뜻한다. 이때 중요한 개념 한 가지는 특정 지점에서 경사가 가장 가파른 방향은 등고선과 수직이 되는 방향이라는 것이다. (우리는 이걸 기울기 벡터로 구해왔었다.)

만약 입력 변수인 연봉을 가지고 나이를 예측하는 선형 회귀를 한다고 가정하자. 그리고 가설 함수는 $h_{\theta}(x) = \theta_0 + \theta_1x$ 라 하자.

연봉은 단위가 천 만 단위이기 때문에 $\theta_1$ 값이 조금만 바뀌어도 가설 함수의 결과값이 크게 달라진다.
예를 들어 연봉이 3000만원일 때를 보고 있다고 하면, $\theta_1 = 1$일 때는 $\theta_1x$가 3000만원인데, $\theta_1 = 3$일 때는 $\theta_1x$가 9000만원이다. $\theta_1$이 1에서 3으로 바뀌었을 뿐인데 예측값은 6000만원 이상이나 차이가 난다. 따라서 $\theta_1$값이 조금만 바뀌어도 입력 변수 연봉의 천만 단위 수 때문에 가설 함수의 아웃풋이 크게 차이가 난다는 것이다. 아웃풋에 큰 영향을 준다는 것은 결국 평균 제곱 오차, 혹은 손실 함수에도 큰 영향을 주게 된다.

반면 $\theta_0$은 항상 1과 곱해지기 때문에 $\theta_0$이 바뀌어도 가설 함수의 아웃풋이 크게 바뀌지는 않는다.

이걸 그래프로 표현하면 아래와 같다.

왼쪽 그래프는 Feature Scaling을 하기 전인데, $\theta_1$이 조금만 커져도 손실 함수의 등고선이 빠르게 바뀐다. 즉, $\theta_1$에 민감하다. 많은 지점에서 경사가 가장 가파른 방향은 최소점을 향하는 방향이 아니기 때문에 경사 하강법을 진행해도 지그재그 모양으로 경사 하강하게 되고, 결국 수렴까지의 시간이 더 걸리게 된다.

반면 오른쪽 그래프는 Feature Scaling을 했기 때문에 $\theta_1$과 $\theta_0$ 에 0과 1사이의 비슷한 수들이 곱해지게 된다. 따라서 손실 함수에 비슷한 영향을 주게 된다. 즉, 어떤 지점이든 경사가 가장 가파른 방향이 최소점을 향하는 방향이기 때문에 경사 하강을 더 빨리 할 수 있고, 결과적으로 수렴을 더 빨리 할 수 있게 된다.

이러한 Feature Scaling은 크게 Normalization과 Standardization 으로 나뉜다.

📌 Normalization (정규화)

정규화는 숫자의 크기를 0과 1사이로 만든다. 정규화 중 가장 직관적인 Min-Max Normalization 에 대해 알아보자.

📍 Min-Max Normalization

Min-Max Normalization은 최대 최소를 이용해서 데이터의 크기를 0과 1사이로 바꿔주는 방법이다. 정규화를 하기 전의 데이터를 $x_{old}$, 정규화를 한 데이터를 $x_{new}$, 데이터의 최댓값을 $x_{max}$, 데이터의 최솟값을 $x_{min}$이라 한다면 Min-Max Normalization은 다음과 같다.

이걸 이용하면 데이터를 0과 1 사이 범위의 숫자들로 크기 조정 즉, scaling 해줄 수 있다.

scikit-learn 으로 한 번 실습을 해보자.

from sklearn import preprocessing
import pandas as pd
import numpy as np

nba_player_of_the_week_df = pd.read_csv('../data/NBA_player_of_the_week.csv')

height_weight_age_df = nba_player_of_the_week_df[['Height CM', 'Weight KG', 'Age']]

scaler = preprocessing.MinMaxScaler()
normalized_data = scaler.fit_transform(height_weight_age_df)
normalized_df = pd.DataFrame(normalized_data, columns=['Height', 'Weight', 'Age'])

📌 Standardization (표준화)

총 $n$개의 데이터 $x_1, x_2, x_3, \cdots, x_n$ 의 평균을 $\bar{x}$이라 하면 표준 편차 $\sigma$는 다음과 같다.

통계학에서 표준 편차는 데이터들이 평균 값에서 얼마나 벗어나 있는지를 나타낸다. 평균에 가까운 값들이 많을수록 표준 편차가 작고, 평균과 차이가 많이 나는 값들이 많을수록 표준 편차가 크다.

표준화는 이런 표준 편차를 이용한 것으로 공식은 아래와 같다.

$x_{new}$는 표준화 한 후의 데이터, $x_{old}$는 표준화 하기 전의 데이터를 의미한다.

표준화를 사용하면 항상 데이터들의 평균은 0, 표준 편차는 1이 된다. 이렇게 표준화를 해 준 데이터를 통계학에서는 z-score라고도 하는데, z-score는 데이터가 평균 값에서 몇 표준 편차만큼 떨어져 있는지를 뜻한다.

scikit-learn 으로 한 번 실습을 해보자.

from sklearn import preprocessing
import pandas as pd
import numpy as np

nba_player_of_the_week_df = pd.read_csv('../data/NBA_player_of_the_week.csv')

height_weight_age_df = nba_player_of_the_week_df[['Height CM', 'Weight KG', 'Age']]

scaler = preprocessing.StandardScaler()
normalized_data = scaler.fit_transform(height_weight_age_df)
normalized_df = pd.DataFrame(normalized_data, columns=['Height', 'Weight', 'Age'])

📌 One-hot Encoding

머신 러닝에서 사용하는 데이터는 크게 2가지가 있다.

• 수치형(numerical) 데이터: 나이, 몸무게, 키, 등
• 범주형(categorical) 데이터: 혈액형, 성별, 등

많은 머신 러닝 알고리즘은 인풋 데이터, 즉 입력 변수의 값이 수치형 데이터여야 하는데, 만약 범주형 데이터라면 어떻게 할까?

가장 먼저 드는 생각은 그냥 각 카테고리마다 1, 2, 3, ... 등의 숫자를 붙이는 것이다. 근데 이렇게 하게 되면 카테고리마다 크고 작다는 개념이 생겨버린다. 예를 들어 이 방식을 혈액형에 적용한다면 A형은 1이니까 가장 작고, O형은 4니까 가장 크고, 등등의 개념이 생기게 된다는 것이다.
머신 러닝은 이러한 엉뚱한 개념까지 학습할 가능성이 있기 때문에 이 방식은 좋지 않다.

따라서 One-hot Encoding 방식을 사용하면 좋다. One-hot encoding은 각 카테고리를 하나의 새로운 열로 만들어 주는 방법이다. 아래 사진을 통해 보는 것이 이해가 빠르다.

A, B, O, AB 라는 혈액형 범주형 데이터의 카테고리 각각을 열로 만든 후 주어진 데이터가 어떤 혈액형인지에 따라 새로운 열들의 값을 0 또는 1로 채워서 One-hot vector로 표현한다.

이렇게 하면 범주형 데이터에게 크고 작은 관계가 생기는 것을 막을 수 있다.
정리하자면, One-hot Encoding을 사용하여 범주형 데이터에게 크고 작음의 엉뚱한 관계가 생기는 걸 방지하면서도 수치형 데이터로 바꿔 줄 수 있는 것이다.

pandas 를 이용해 One-hot Encoding을 실습해보자.

import pandas as pd

titanic_df = pd.read_csv('../data/titanic.csv')
titanic_sex_embarked = titanic_df[['Sex', 'Embarked']] # One-hot Encoding 할 컬럼만 따로 추출

one_hot_encoded_df = pd.get_dummies(titanic_sex_embarked, dtype=int) # One-hot Encoding 진행

위에서는 One-hot Encoding을 할 컬럼을 따로 분리한 다음에 진행을 하였는데, 전체 데이터 titanic_df 에서 바로 One-hot Encoding 하는 방법은 아래처럼 하면 된다.

one_hot_encoded_df = pd.get_dummies(data=titanic_df, columns=['Sex', 'Embarked'])

---

출처: 코드잇