[Deep Learning] Regression Analysis

📖 케라스 창시자에게 배우는 딥러닝 (프랑소와 숄레, 박해선, 길벗) 참고

회귀는 연속적인 값을 예측하는 것이다.

보스턴 주택 가격 데이터셋은 1970년 중반 보스턴 외곽 지역의 범죄율, 지방세율 등을 포함한 데이터셋으로 총 506개의 데이터포인트를 가지고 있다.

🏡 데이터 불러오기

from keras.datasets import boston_housing

(train_data, train_targets), (X_test, y_test) = boston_housing.load_data()

🏡 데이터 전처리

각 특성들은 스케일이 서로 다르다. 0 ~ 1 사이의 비율을 나타내는 특성도 있고 1 ~ 12 사이의 값을 갖거나 1 ~ 100 사이의 값을 갖는 특성도 있다. 이렇게 스케일이 다르면 경사 하강법의 경로가 스케일이 큰 특성에 영향을 많이 받기 때문에 학습을 더 어렵게 만든다. 따라서 특성을 정규화해주어야 한다. 이번에는 표준화를 통해 특성을 정규화 할 것이다.

Standardization, 표준화는 입력 데이터에 있는 각 특성에 대해 특성의 평균을 빼고 표준 편차로 나누는 것이다.

mean = train_data.mean(axis = 0)
std = train_data.std(axis = 0)

train_data = train_data - mean
train_data = train_data / std

X_test = X_test - mean
X_test = X_test / std

from sklearn.model_selection import train_test_split
X_train, X_valid, y_train, y_valid = train_test_split(train_data, 
						      train_targets,
                              			      test_size = 0.2,
                                              	      random_state = 2045)

🏡 모델링

from keras import models
from keras import layers

boston = models.Sequential(name = 'Regression')
boston.add(layers.Dense(64, activation = 'relu', input_shape = (13,)))
boston.add(layers.Dense(64, activation = 'relu'))
boston.add(layers.Dense(1))

boston.compile(loss = 'mse', optimizer = 'rmsprop', metrics = ['mae'])

마지막 층은 하나의 유닛을 갖고 활성화 함수가 없다. 하나의 연속적인 값을 예측하는 스칼라 회귀를 위한 구성이다.

mse는 평균 제곱 오차로 회귀 문제에서 널리 사용되는 손실함수이다. 훈련하는 동안 모니터링을 위해 mae, 평균 절대 오차를 측정한다.

history = boston.fit(X_train, y_train,
		     epochs = 500,
             	     batch_size = 1,
                     validation_data = (X_valid, y_valid))

test_mse_score, test_mae_score = boston.evaluate(X_test, y_test)