📝 데이터 분류 및 전처리 실습 (부동산 집값 예측 대회 준비)

---

현재 참여중인 부트캠프에서 진행중인(5/1~5/15) House Price Prediction 경진대회는 주어진 데이터를 활용하여 서울의 아파트 실거래가를 효과적으로 예측하는 모델을 개발하는 대회

• 지난주부터 필수강의에서 들었던 Machine Learning Basic과 오늘 들은 Machine Learning Advanced에 해당하는 내용인 데이터 전처리 부분을 진행해 보았음
• 해당 내용은 부동산 가격 예측이라는 실전 프로젝트에 바로 적용되는 내용이기도 하며, 이론적 개념과 실습을 연결하는 데 중요하다고 생각되어 특히 신경을 써서 공부중임과 동시에 처음 배우고 처음 해보는 내용이어서 서툴지만 천천히 한스텝씩 진행중...ㅠ

1️⃣ 데이터 분류 : 숫자형 vs 범주형

머신러닝에서는 데이터를 정확하게 분류하는 것이 첫 단계로서, 전반적인 데이터의 형태와 정보, 그리고 'target'값을 확인하기 위해 간단한 시각화 코드를 사용

import pandas as pd

df = pd.read_csv('../data/train.csv')
df.head()

df.info()

import matplotlib.pyplot as plt

plt.hist(df['target'], bins=50)
plt.title('Target Distribution')
plt.xlabel('Price')
plt.ylabel('Frequency')
plt.show()

이후, 숫자형인지 범주형인지에 따라 전처리와 모델링 방식이 달라진다고 배워서 이를 추가적으로 분류해보았음

# 데이터 타입 확인
print(df.dtypes)

# 숫자형 / 범주형 변수 분리
num_cols = df.select_dtypes(include=['int64', 'float64']).columns
cat_cols = df.select_dtypes(include=['object']).columns

print(f"숫자형 컬럼: {list(num_cols)}")
print(f"범주형 컬럼: {list(cat_cols)}")

dtypes로 데이터 타입을 확인하고, select_dtypes로 숫자형/범주형을 분리

• 이번 대회에서는 예를 들어 전용면적, 층수는 숫자형, 거래유형, 건물용도 등은 범주형으로 분류해봄

---

2️⃣ 결측치 확인 및 처리

이후, 데이터셋에 과한 결측값이 포함되어 있는지 확인하기 위해 결측치 확인 코드를 작성 후 빈 값을 중앙값으로 우선적으로 채워보기로 함

#결측치 시각화
import seaborn as sns
sns.heatmap(df.isnull(), cbar=False)

# 결측치 현황
print(df.isnull().sum())

# '임대보증금' 컬럼 결측치를 중앙값으로 채우기
df['임대보증금'].fillna(df['임대보증금'].median(), inplace=True)

• 자료조사 결과, 부동산처럼 극단적인 값이 많은 데이터에서는 평균보다 중앙값이 더 안정적으로 작용하는 경우가 많다고 확인되어 이렇게 진행해 보았음

---

3️⃣ 상관관계 파악 및 파생변수 생성

'target'변수와 관련있는 변수 시각화 - 상관관계를 찾아 추후 데이터 처리에 어떠한 방식으로 진행하면 더 용이할지 판단하는 지표가 됨

import seaborn as sns
import matplotlib.pyplot as plt

plt.figure(figsize=(12, 10))
corr = df.corr(numeric_only=True)
sns.heatmap(corr, annot=True, fmt=".2f", cmap='coolwarm')
plt.title('Correlation Matrix with target')
plt.show()

붉은색(1.00)에 가까워질수록 x, y축에 적힌 변수들 간의 상관관계가 강하다는것을 확인가능

이후, 원본 데이터만으로는 한계가 있기 때문에 의미 있는 파생변수를 추가하는 것이 중요하다고 배워(예를 들어 부동산에서는 건축연도만 보고는 한계가 있으므로, '건물 나이'라는 파생변수를 제작) 이를 추가함

# 결측치 현황
print(df.isnull().sum())

# '임대보증금' 컬럼 결측치를 중앙값으로 채우기
df['임대보증금'].fillna(df['임대보증금'].median(), inplace=True)

• '2025 - 건축연도'로 건물의 나이를 계산(이런 파생변수는 집값과 밀접한 관계가 있을 가능성이 크므로 예측력 향상에 도움을 준다는 gpt의 조언...)

#그리고 결측치가 다 정상적으로 정리되었는지 확인
print("남은 결측치 수:", df.isnull().sum().sum())

---

4️⃣ 이상치 처리 : 튀는 데이터 정리

부동산 데이터에서는 비정상적으로 높은 거래가가 존재한다는 것을 데이터셋에서 확인하였으며, 이를 방치하면 모델이 왜곡되므로 IQR 방식을 활용하여 이상치들을 고루 정리해보았음

# 이상치 처리 (거래금액)
Q1 = df['거래금액'].quantile(0.25)
Q3 = df['거래금액'].quantile(0.75)
IQR = Q3 - Q1
df = df[(df['거래금액'] >= Q1 - 1.5 * IQR) & (df['거래금액'] <= Q3 + 1.5 * IQR)]

상하위 25% 지점을 기반으로 IQR 범위를 벗어나는 데이터를 제거 (대회 데이터셋에서는 초고가 거래가 종종 이상치로 판단)

---

5️⃣ 데이터 스케일링

부동산 데이터의 경우 전용면적, 건물 나이 등 변수들의 단위가 각각 상이하고 너무 큰것들이 있어 이를 정리해줌

# 표준화
from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
df[['전용면적', 'building_age']] = scaler.fit_transform(df[['전용면적', 'building_age']])

StandardScaler로 표준화해서 모든 변수를 평균 0, 표준편차 1로 맞춤

---

6️⃣ 인코딩

범주형 데이터를 그대로 사용할 수 없으므로 인코딩을 진행

• 이번에는 추천받은 LabelEncoder + OneHotEncoder 조합으로 구성

# 레이블 인코딩 (거래유형)
from sklearn.preprocessing import LabelEncoder

le = LabelEncoder()
df['거래유형_encoded'] = le.fit_transform(df['거래유형'])

# 원-핫 인코딩 (건물용도)
df = pd.get_dummies(df, columns=['건물용도'])

---

<< 마무리 및 다음 단계 스텝...>>

대회를 준비하며 다시 한번 느낀 것은 '데이터 전처리의 중요성'이라는 말이 정말로 사실이라는 것을 느낀것 같음.(평소에는 로우데이터셋 같은거를 보면 그냥 뭐 이렇게 저렇게 하면 요렇게 나온다 뭐 그런 느낌으로다가 생각하고 있었는데, 필수강의를 듣고 또 배운대로 순서대로 해도 아직 뭔자 어설픈 부분과 완벽하게 정돈되지 않은 부분들이 보이는것 같아서 솔직히 아쉽기도 하고 그러는중...)
특히 결측치 처리, 이상치 제거, 파생변수 생성의 중요성을 직접 체감할 수 있었고, 다음에는 그냥 아무런 처리 안하고 생 로우 데이터를 모델링 한 결과값을 한번 분석해볼 수 있는 것도 좋을것 같다...시간이 된다면...

• 이제 다음 단계에서는 본격적인 모델링 및 성능 개선을 시도할 예정

1️⃣ 기본 회귀모델 학습
우선 선형회귀, 결정트리 회귀 등 단순한 모델로 베이스라인 성능을 확인할 예정

• 이를 통해 데이터셋의 기초적인 패턴을 파악하고, 성능의 기준점을 설정하려고 함

2️⃣ 앙상블 모델 적용(현재 진행중...!)
랜덤포레스트, 그라디언트 부스팅, XGBoost 등 앙상블 계열의 강력한 회귀모델을 적용할 예정

• 특히 부동산 데이터는 변수 간 비선형 관계가 많아, 트리 기반 모델이 잘 맞을 것으로 기대하고 있음(gpt왈..)

3️⃣ 교차검증 및 하이퍼파라미터 튜닝
모델의 과적합 여부를 방지하기 위해 K-폴드 교차검증을 도입하고, GridSearchCV 등으로 하이퍼파라미터를 체계적으로 탐색

4️⃣ 피처 엔지니어링 고도화
모델 성능을 최대한 끌어올리기 위해 오늘 생성한 파생변수를 더 확장하거나, 다중공선성 문제를 해결하기 위한 변수 선택 기법(RFE 등)을 적용해볼 예정

5️⃣ 모델 해석 및 시각화
이후 다른게 얼추 되었다 싶으면 시각화해서 한번 1차적으로 분석해보고...팀원들과 공유 및 토의 후 더 나은 방안을 모색