🛸 데이터 전처리 (Python & R)

1️⃣ 머신러닝의 첫 단계 — 데이터 전처리란?

머신러닝 모델의 성능은 알고리즘보다 데이터 품질에 더 좌우된다.
“Garbage in, garbage out” — 전처리가 엉망이면 아무리 좋은 모델도 쓸모없다.

데이터 전처리(Data Preprocessing)는 원시(raw) 데이터를 모델이 학습할 수 있는 형태로 만드는 단계다.
이 강의에서는 Python과 R을 병행해 다음 과정을 학습한다.

주요 단계	핵심 개념	예시
결측치 처리	평균/중앙값 대체, 삭제	나이 컬럼에 결측치가 있는 경우 평균값으로 대체
범주형 인코딩	숫자형 변환	“France”, “Germany” → [1, 2]
데이터 분리	Train/Test 분할	80:20 비율로 학습용과 검증용 데이터 분리
스케일링	표준화(Standardization) / 정규화(Normalization)	키(cm)와 몸무게(kg) 단위차 제거

이 과정은 모든 머신러닝 파이프라인의 기반이다.

---

2️⃣ 머신러닝 프로세스 개요

💡 전체 흐름

1. 데이터 수집 (CSV, SQL, API 등)
2. 데이터 전처리 (결측치, 인코딩, 스케일링)
3. 모델 학습 (회귀, 분류 등)
4. 모델 평가 (정확도, RMSE 등)
5. 예측 및 개선

이 중 2단계 전처리는 나머지 과정을 가능하게 하는 핵심 단계다.

---

3️⃣ 데이터 세트 불러오기

실습에서는 Pandas와 NumPy를 사용해 CSV 데이터를 불러온다.

import numpy as np
import pandas as pd

dataset = pd.read_csv('Data.csv')
X = dataset.iloc[:, :-1].values   # 독립변수
y = dataset.iloc[:, -1].values    # 종속변수

💡 .iloc[:, :-1] → 마지막 열을 제외한 전체 열 선택
💡 .iloc[:, -1] → 마지막 열(결과 변수) 선택

🧪 실습 흐름

• CSV 파일을 Google Colab 환경에서 불러오기
• Python과 R에서 각각 read.csv()와 pd.read_csv() 비교
• 데이터를 테이블 형태로 확인하고 이상치·결측치 탐색

---

4️⃣ 결측치(Missing Data) 처리

데이터에는 종종 값이 비어 있는 셀(NA, NaN)이 존재한다.
이대로 모델에 넣으면 학습이 실패한다.

✅ 방법 1: 삭제

dataset.dropna(inplace=True)

단점: 정보 손실이 큼

✅ 방법 2: 대체 (Imputation)

from sklearn.impute import SimpleImputer
imputer = SimpleImputer(missing_values=np.nan, strategy='mean')
imputer.fit(X[:, 1:3])
X[:, 1:3] = imputer.transform(X[:, 1:3])

전략	설명	예시
mean	평균으로 대체	수치형 컬럼
median	중앙값으로 대체	이상치가 많은 경우
most_frequent	최빈값으로 대체	범주형 데이터

R에서는 na.omit(), mutate() + ifelse(is.na())로 처리.

---

5️⃣ 범주형 데이터 인코딩 (Categorical Encoding)

모델은 숫자만 인식하므로, 문자열로 된 범주형 변수를 숫자로 변환해야 한다.

📘 1단계: Label Encoding

from sklearn.preprocessing import LabelEncoder
le = LabelEncoder()
X[:, 0] = le.fit_transform(X[:, 0])

예:
["France", "Germany", "Spain"] → [0, 1, 2]

단점: 숫자가 크다고 순서 의미가 생김 → 회귀모델에 부적절

---

📘 2단계: One-Hot Encoding

from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder

ct = ColumnTransformer(transformers=[('encoder', OneHotEncoder(), [0])], remainder='passthrough')
X = np.array(ct.fit_transform(X))

결과:

France  Germany  Spain
1       0        0
0       1        0
0       0        1

💡 순서 대신 더미 변수(dummy variable)로 구분
💡 회귀 모델에서는 첫 열(기준값)을 삭제해 다중공선성 방지

---

6️⃣ 데이터 분리 (Train/Test Split)

모델의 일반화 성능을 평가하기 위해 데이터를 분리한다.

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=1
)

용도	비율	설명
X_train, y_train	80%	모델 학습
X_test, y_test	20%	모델 검증

💡 random_state를 고정해 재현성 확보
R에서는 sample.split() 함수로 동일한 작업 수행.

---

7️⃣ 특성 스케일링 (Feature Scaling)

각 특성이 다른 단위를 가지면 모델이 특정 변수에 편향된다.
예를 들어, “연봉(만원)”은 “나이(세)”보다 값이 훨씬 커서 학습에 영향을 과도하게 미친다.

✅ 표준화(Standardization)

from sklearn.preprocessing import StandardScaler
sc = StandardScaler()
X_train[:, 3:] = sc.fit_transform(X_train[:, 3:])
X_test[:, 3:] = sc.transform(X_test[:, 3:])

공식:

→ 평균 0, 표준편차 1로 변환

✅ 정규화(Normalization)

모든 값을 0~1 사이로 맞춤.

from sklearn.preprocessing import MinMaxScaler
scaler = MinMaxScaler()
X_scaled = scaler.fit_transform(X)

트리 기반 모델(Decision Tree, Random Forest)은 스케일링 불필요
거리 기반(KNN, SVM, PCA 등)은 필수

---

8️⃣ Python vs R 비교 정리

단계	Python	R
데이터 불러오기	pd.read_csv()	read.csv()
결측치 처리	SimpleImputer	mutate() + ifelse()
인코딩	OneHotEncoder	factor()
데이터 분리	train_test_split()	sample.split()
스케일링	StandardScaler	scale()

---

9️⃣ 전처리 파이프라인 완성

🧩 템플릿 코드

# Step 1. Import
import numpy as np
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler, OneHotEncoder
from sklearn.impute import SimpleImputer
from sklearn.compose import ColumnTransformer

# Step 2. Load dataset
dataset = pd.read_csv('Data.csv')
X = dataset.iloc[:, :-1].values
y = dataset.iloc[:, -1].values

# Step 3. Handle missing values
imputer = SimpleImputer(strategy='mean')
X[:, 1:3] = imputer.fit_transform(X[:, 1:3])

# Step 4. Encode categorical data
ct = ColumnTransformer([('encoder', OneHotEncoder(), [0])], remainder='passthrough')
X = np.array(ct.fit_transform(X))

# Step 5. Split dataset
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)

# Step 6. Feature scaling
sc = StandardScaler()
X_train[:, 3:] = sc.fit_transform(X_train[:, 3:])
X_test[:, 3:] = sc.transform(X_test[:, 3:])

이 템플릿을 기반으로 어떤 데이터셋이라도 간단히 전처리할 수 있다.

---

🔟 결론

데이터 전처리는 머신러닝의 출발점이자 핵심 단계다.
결측치, 인코딩, 분리, 스케일링을 자동화하면 모델 학습 과정이 안정화되고, 재현성 있는 결과를 얻을 수 있다.

📊 핵심 요약

단계	주요 목적	Python 도구
결측치 처리	불완전한 데이터 보완	SimpleImputer
인코딩	범주형 → 숫자형 변환	OneHotEncoder
데이터 분리	일반화 평가	train_test_split
스케일링	변수 단위 정규화	StandardScaler