📒 Spark(13) - ML(3)

📌 보스턴 주택가격 예측 - Regression

개요

• 1970년대 미국 인구조사 서비스(US Census Service)에서 Boston 지역의 주택 가격 데이터를 수집한 가격 데이터를 수집한 데이터를 기반으로 모델을 빌드한다.

• Training Set
  -> 개별 주택가격의 예측이 아니라 지역별 중간 주택가격 에측이다.

• Regression 알고리즘 사용
  -> 연속적인 주택가격 예측이기때문에 Classification 알고리즘은 적합하지 않다.

Data

• 총 506개의 레코드로 구성되어있다.
• 13개의 Feature와 Lable Field로 구성되어있다.
• 506개의 동네의 주택 중간값 데이터이다. (개별 주택이 아님에 유의해야한다.)
• 14번째 필드가 바로 예측해야 하는 중간 주택 가격이다.(MEDV)

No.	Field	Explain
1	CRIM	주택이 있는 지역의 인당 범죄율
2	ZN	25000 sqft(약700평)이상의 땅이 주거 지역으로 설정된 비율
3	INDUS	에이커당 공업단지의 비율
4	CHAS	주택이 강가에 위치한 비율
5	NOX	산화질소 농도를 이용한 오염정도
6	RM	주택당 평균 방의 수
7	AGE	1940년 전에 지어진 주택의 비율
8	DIS	보스턴 지역 고용 센터까지의 평균 거리
9	RAD	고속도로 접근성에 대한 인덱스
10	TAX	재산세(주택가격 $10k 기준)
11	PTRATO	초등학교 학생 - 선생님의 비율
12	B	흑인 인구의 비율
13	LSTAT	저소득자의 인구 비율
14	MEDV	$1000 단위의 주택 평균값

Code

• 먼저 pyspark와 py4j를 설치해주자. 각각 서로 간섭이 없는 버전을 선택해주어야 한다.

!pip install pyspark==3.3.1 py4j==0.10.9.5

📙 Create SparkSession

• Regression 알고리즘 중에서 Linear Regression 모델을 사용해보자.

from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("Boston Housing Linear Regression") \
    .getOrCreate()

📙 Data Download

data = spark.read.csv('./boston_housing.csv', header=True, inferSchema=True)

• Data의 스키마를 확인해보자. 위에서 확인한 데이터 명세서와 동일한 형태를 가진것을 알 수 있다.

data.printSchema()

root
 |-- crim: double (nullable = true)
 |-- zn: double (nullable = true)
 |-- indus: double (nullable = true)
 |-- chas: integer (nullable = true)
 |-- nox: double (nullable = true)
 |-- rm: double (nullable = true)
 |-- age: double (nullable = true)
 |-- dis: double (nullable = true)
 |-- rad: integer (nullable = true)
 |-- tax: integer (nullable = true)
 |-- ptratio: double (nullable = true)
 |-- b: double (nullable = true)
 |-- lstat: double (nullable = true)
 |-- medv: double (nullable = true)

• show를 사용해서 데이터의 값을 미리 확인해보자.

data.show()

+-------+----+-----+----+-----+-----+-----+------+---+---+-------+------+-----+----+
|   crim|  zn|indus|chas|  nox|   rm|  age|   dis|rad|tax|ptratio|     b|lstat|medv|
+-------+----+-----+----+-----+-----+-----+------+---+---+-------+------+-----+----+
|0.00632|18.0| 2.31|   0|0.538|6.575| 65.2|  4.09|  1|296|   15.3| 396.9| 4.98|24.0|
|0.02731| 0.0| 7.07|   0|0.469|6.421| 78.9|4.9671|  2|242|   17.8| 396.9| 9.14|21.6|
|0.02729| 0.0| 7.07|   0|0.469|7.185| 61.1|4.9671|  2|242|   17.8|392.83| 4.03|34.7|
|0.03237| 0.0| 2.18|   0|0.458|6.998| 45.8|6.0622|  3|222|   18.7|394.63| 2.94|33.4|
|0.06905| 0.0| 2.18|   0|0.458|7.147| 54.2|6.0622|  3|222|   18.7| 396.9| 5.33|36.2|
|0.02985| 0.0| 2.18|   0|0.458| 6.43| 58.7|6.0622|  3|222|   18.7|394.12| 5.21|28.7|
|0.08829|12.5| 7.87|   0|0.524|6.012| 66.6|5.5605|  5|311|   15.2| 395.6|12.43|22.9|
|0.14455|12.5| 7.87|   0|0.524|6.172| 96.1|5.9505|  5|311|   15.2| 396.9|19.15|27.1|
|0.21124|12.5| 7.87|   0|0.524|5.631|100.0|6.0821|  5|311|   15.2|386.63|29.93|16.5|
|0.17004|12.5| 7.87|   0|0.524|6.004| 85.9|6.5921|  5|311|   15.2|386.71| 17.1|18.9|
|0.22489|12.5| 7.87|   0|0.524|6.377| 94.3|6.3467|  5|311|   15.2|392.52|20.45|15.0|
|0.11747|12.5| 7.87|   0|0.524|6.009| 82.9|6.2267|  5|311|   15.2| 396.9|13.27|18.9|
|0.09378|12.5| 7.87|   0|0.524|5.889| 39.0|5.4509|  5|311|   15.2| 390.5|15.71|21.7|
|0.62976| 0.0| 8.14|   0|0.538|5.949| 61.8|4.7075|  4|307|   21.0| 396.9| 8.26|20.4|
|0.63796| 0.0| 8.14|   0|0.538|6.096| 84.5|4.4619|  4|307|   21.0|380.02|10.26|18.2|
|0.62739| 0.0| 8.14|   0|0.538|5.834| 56.5|4.4986|  4|307|   21.0|395.62| 8.47|19.9|
|1.05393| 0.0| 8.14|   0|0.538|5.935| 29.3|4.4986|  4|307|   21.0|386.85| 6.58|23.1|
| 0.7842| 0.0| 8.14|   0|0.538| 5.99| 81.7|4.2579|  4|307|   21.0|386.75|14.67|17.5|
|0.80271| 0.0| 8.14|   0|0.538|5.456| 36.6|3.7965|  4|307|   21.0|288.99|11.69|20.2|
| 0.7258| 0.0| 8.14|   0|0.538|5.727| 69.5|3.7965|  4|307|   21.0|390.95|11.28|18.2|
+-------+----+-----+----+-----+-----+-----+------+---+---+-------+------+-----+----+
only showing top 20 rows

📙 Create Feature Vector

• VectorAssembler를 사용해서 진행하자
  -> 여러 컬럼을 하나의 벡터 컬럼으로 결합하는 데 사용한다.

• inputCols에는 결합할 컬럼들의 이름 리스트를 지정한다.

• outputCols에는 결합된 벡터를 저장할 새 컬럼 이름을 지정한다.

from pyspark.ml.feature import VectorAssembler

feature_columns = data.columns[:-1] # data의 마지막 컬럼을 제외한 나머지
assembler = VectorAssembler(inputCols=feature_columns, outputCol="features")

• transform을 사용해서 원본 DataFrame인 data에 features 컬럼을 추가해서 vectorized_data DataFrame을 생성한다.

vectorized_data = assembler.transform(data)ㅂ
vectorized_data.show()

+-------+----+-----+----+-----+-----+-----+------+---+---+-------+------+-----+----+--------------------+
|   crim|  zn|indus|chas|  nox|   rm|  age|   dis|rad|tax|ptratio|     b|lstat|medv|            features|
+-------+----+-----+----+-----+-----+-----+------+---+---+-------+------+-----+----+--------------------+
|0.00632|18.0| 2.31|   0|0.538|6.575| 65.2|  4.09|  1|296|   15.3| 396.9| 4.98|24.0|[0.00632,18.0,2.3...|
|0.02731| 0.0| 7.07|   0|0.469|6.421| 78.9|4.9671|  2|242|   17.8| 396.9| 9.14|21.6|[0.02731,0.0,7.07...|
|0.02729| 0.0| 7.07|   0|0.469|7.185| 61.1|4.9671|  2|242|   17.8|392.83| 4.03|34.7|[0.02729,0.0,7.07...|
|0.03237| 0.0| 2.18|   0|0.458|6.998| 45.8|6.0622|  3|222|   18.7|394.63| 2.94|33.4|[0.03237,0.0,2.18...|
|0.06905| 0.0| 2.18|   0|0.458|7.147| 54.2|6.0622|  3|222|   18.7| 396.9| 5.33|36.2|[0.06905,0.0,2.18...|
|0.02985| 0.0| 2.18|   0|0.458| 6.43| 58.7|6.0622|  3|222|   18.7|394.12| 5.21|28.7|[0.02985,0.0,2.18...|
|0.08829|12.5| 7.87|   0|0.524|6.012| 66.6|5.5605|  5|311|   15.2| 395.6|12.43|22.9|[0.08829,12.5,7.8...|
|0.14455|12.5| 7.87|   0|0.524|6.172| 96.1|5.9505|  5|311|   15.2| 396.9|19.15|27.1|[0.14455,12.5,7.8...|
|0.21124|12.5| 7.87|   0|0.524|5.631|100.0|6.0821|  5|311|   15.2|386.63|29.93|16.5|[0.21124,12.5,7.8...|
|0.17004|12.5| 7.87|   0|0.524|6.004| 85.9|6.5921|  5|311|   15.2|386.71| 17.1|18.9|[0.17004,12.5,7.8...|
|0.22489|12.5| 7.87|   0|0.524|6.377| 94.3|6.3467|  5|311|   15.2|392.52|20.45|15.0|[0.22489,12.5,7.8...|
|0.11747|12.5| 7.87|   0|0.524|6.009| 82.9|6.2267|  5|311|   15.2| 396.9|13.27|18.9|[0.11747,12.5,7.8...|
|0.09378|12.5| 7.87|   0|0.524|5.889| 39.0|5.4509|  5|311|   15.2| 390.5|15.71|21.7|[0.09378,12.5,7.8...|
|0.62976| 0.0| 8.14|   0|0.538|5.949| 61.8|4.7075|  4|307|   21.0| 396.9| 8.26|20.4|[0.62976,0.0,8.14...|
|0.63796| 0.0| 8.14|   0|0.538|6.096| 84.5|4.4619|  4|307|   21.0|380.02|10.26|18.2|[0.63796,0.0,8.14...|
|0.62739| 0.0| 8.14|   0|0.538|5.834| 56.5|4.4986|  4|307|   21.0|395.62| 8.47|19.9|[0.62739,0.0,8.14...|
|1.05393| 0.0| 8.14|   0|0.538|5.935| 29.3|4.4986|  4|307|   21.0|386.85| 6.58|23.1|[1.05393,0.0,8.14...|
| 0.7842| 0.0| 8.14|   0|0.538| 5.99| 81.7|4.2579|  4|307|   21.0|386.75|14.67|17.5|[0.7842,0.0,8.14,...|
|0.80271| 0.0| 8.14|   0|0.538|5.456| 36.6|3.7965|  4|307|   21.0|288.99|11.69|20.2|[0.80271,0.0,8.14...|
| 0.7258| 0.0| 8.14|   0|0.538|5.727| 69.5|3.7965|  4|307|   21.0|390.95|11.28|18.2|[0.7258,0.0,8.14,...|
+-------+----+-----+----+-----+-----+-----+------+---+---+-------+------+-----+----+--------------------+
only showing top 20 rows

📙 Divide Data & Build Model

• Data는 8:2로 Train과 Test로 나눈다.
  -> Scikit-Learn에서 train_test_split와 같은 역할는 하는 randomSplit을 사용하자.
• 나누는 비율은 모델, 데이터 등등의 변수를 고려해서 정하는 것이 좋다.

train, test = vectorized_data.randomSplit([0.8, 0.2])

• pyspark.ml.regression에서 선형 회귀 모델(LinearRegression)을 가져와서 모델을 생성하자.
• Feature Column과 예측하고자 하는 Label을 지정해준다.
• 마지막으로 fit을 이용하여 학습 시킨다. Train변수를 지정해주어서 학습시켜야한다.

from pyspark.ml.regression import LinearRegression

model = LinearRegression(featuresCol="features", labelCol="medv").fit(train)

📙 Model Evaluation

• 이제 모델을 평가할 차례이다.
• 평가 단계는 쉽게 생각하면 학습된 모델의 성능이 어느정도인지 지표를 보는것이라고 생각하면된다.
• 참고 : 내가 사용하는 모델에 적용할 수 있는 평가 함수를 찾아서 사용하면 된다.

evaluation_summary = model.evaluate(test)
evaluation_summary

<pyspark.ml.regression.LinearRegressionSummary at 0x7cc1242a2590>

• 평균 절대 오차를 나타내는 meanAbsoluteError를 사용해보자
• 예측값과 실제값의 차이의 절대값의 평균이다.
• 오차의 크기를 원래 단위로 표현하며, 이상치에 덜 민감하다.

evaluation_summary.meanAbsoluteError

3.751751468553107

• 평균 제곱근 오차를 나타내는 rootMeanSquaredError를 사용해보자
• 예측값과 실제값 차이의 제곱의 평균에 루트를 씌운 값이다.
• MAE보다 큰 오차에 더 많은 가중치를 부여하며, 이상치에 더 민감하다.

evaluation_summary.rootMeanSquaredError

5.266467730878813

• 결정 계수를 나타내는 r2를 사용해보자.
• 모델이 데이터의 분산을 얼마나 잘 설명하는지를 나타낸다.
• 0에서 1 사이의 값을 가지며, 1에 가까울수록 모델의 성능이 좋은 것이다.

evaluation_summary.r2

0.7002142469300772

Model Predictioon

• 이제 모델을 시험해봐야한다.
• 평가 지표와 실사용은 다를 수 있다.
• 이전에 만들어놓은 0.2 비율의 test 변수를 사용하자.
• 모든 컬럼을 볼 필요가 없기 때문에 medv, features, prediction 만 표출해서 확인하자.

predictions = model.transform(test)
predictions.select(predictions.columns[13:]).show()

+----+--------------------+------------------+
|medv|            features|        prediction|
+----+--------------------+------------------+
|32.7|[0.01301,35.0,1.5...|30.515144998498805|
|35.4|[0.01311,90.0,1.2...|30.631754822999135|
|24.5|[0.01501,80.0,2.0...|27.128954091991645|
|44.0|[0.01538,90.0,3.7...| 36.96650331489955|
|30.1|[0.01709,90.0,2.0...|  24.6221945758976|
|23.1|[0.0187,85.0,4.15...|24.785644795798774|
|42.3|[0.02177,82.5,2.0...|37.095922515731644|
|16.5|[0.02498,0.0,1.89...| 22.67389351259429|
|34.9|[0.0315,95.0,1.47...|29.789848917775686|
|33.4|[0.03237,0.0,2.18...|28.764672253072774|
|19.4|[0.03466,35.0,6.0...|23.414721268194157|
|45.4|[0.03578,20.0,3.3...| 38.85772413090571|
|23.5|[0.03584,80.0,3.3...|30.000658140048248|
|20.7|[0.03738,0.0,5.19...| 21.66209468225044|
|18.2|[0.04301,80.0,1.9...|13.568129819698605|
|20.5|[0.04337,21.0,5.6...|23.829695990158015|
|19.4|[0.04379,80.0,3.3...|25.147443347186538|
|20.6|[0.04527,0.0,11.9...|22.249892769719427|
|30.3|[0.04666,80.0,1.5...| 32.62958993192931|
|22.6|[0.04684,0.0,3.41...|27.323120358774855|
+----+--------------------+------------------+
only showing top 20 rows

---

여기 까지 Linear Regression 모델을 사용해 보는 데모를 진행해보았다.
이는 기본적인 가이드라인일 뿐이기 때문에 실사용에는 문제가 있을 것이다.