2025/03/14 TIL

1. 데이터 전처리 개요

데이터 전처리란?

원시(raw) 데이터에서 불필요하거나 손실(노이즈)이 있는 부분을 처리하고, 분석 목적에 맞는 형태로 만드는 과정

필요성

1️⃣

모델 정확도 및 신뢰도 향상

2️⃣

이상치나 결측치가 많은 상태로 학습하면 예측 성능이 크게 떨어짐

3️⃣

효율적인 데이터 분석과 모델 훈련을 위해 필수적인 단계

2. 결측치 처리

결측치 발생 원인

• 센서 고장, 측정 오류, 환경적 문제 등
• 사람이 수기로 입력하는 경우 누락

결측치 처리 기법

1️⃣

삭제(Removal)

: 결측치가 있는 행(row) 또는 열(column)을 제거

→ 간단하지만 데이터 손실이 발생

→ 결측치가 전체 데이터에서 매우 소수일 때 적합

2️⃣

대체(Imputation)

: 평균 또는 중앙값으로 대체

→ 수치형 데이터에서 많이 사용, 데이터 분포 왜곡이 비교적 적음

: 최빈값으로 대체

→ 범주형 데이터에서 사용

: 예측 모델로 대체

→ 회귀/분류 모델을 이용해 결측값을 예측

3. 이상치 탐지 및 제거

이상치(Outlier) 정의

• 정상 범주에서 크게 벗어나는 값
• 장비 오작동, 환경적 특이 상황 등 원인이 다양함

탐지 기법

1️⃣

통계적 기법 (3σ Rule)

: 데이터가 정규분포를 따른다고 가정하고, 평균에서 ±3σ(표준편차) 범위를 벗어나는 값을 이상치로 간주

: 직관적이고 간단하나, 정규성 가정이 틀릴 수 있음

2️⃣

박스플롯(Boxplot) 기준

: 사분위수(IQR = Q3 - Q1)를 이용해 ‘Q1 - 1.5×IQR’, ‘Q3 + 1.5×IQR’를 벗어나는 데이터를 이상치로 간주

: 분포 특성에 영향을 적게 받는 장점

3️⃣

머신러닝 기반

: 이상치 탐지 알고리즘 (Isolation Forest, DBSCAN 등)

: 복합적 패턴을 고려할 수 있음

처리 기법

1️⃣

이상치를 단순 제거(필요하다면)

이상치 값을 조정(클리핑, Winsorizing 등)

3️⃣

별도로 구분하여 모델에서 제외하거나, 다른 모델(이상치 예측 모델)로 활용