🚨 이상치 처리 기법 완전 정리 (with 실습 & 수식)

모델링 전에 반드시 확인해야 할 것 중 하나는 이상치(Outliers)입니다.
이상치를 방치하면 평균, 표준편차, 회귀계수, 모델 성능 등 모든 분석 결과가 왜곡될 수 있습니다.

---

✅ 이상치란?

이상치는 데이터의 정상 범위에서 벗어난 극단값을 의미합니다.
시각적으로는 상자그림(Boxplot)에서 수염(whisker) 밖에 위치한 값들이며,

수치적으로는 Z-score가 특정 기준을 초과하는 값입니다.

---

🧪 예시: 결석 횟수가 50회 이상이라면?

• 일반적으로 0~20회인 학생들이 많지만,
• 어떤 학생이 absences = 60이라면 이는 데이터 분포에서 멀리 떨어진 값

📌 이상치 판단은 분석 목적과 도메인 지식에 따라 다를 수 있지만,
정량적으로 판단하는 대표적 방법은 아래와 같습니다.

---

1️⃣ Boxplot을 이용한 이상치 탐지

사분위수 기반의 IQR 범위를 벗어난 데이터를 이상치로 판단합니다.

---

📐 수식

• $Q_1$ : 제1사분위수 (25%)
• $Q_3$ : 제3사분위수 (75%)
• IQR : 중간 50% 범위
• 이 범위 밖의 값은 이상치로 간주

---

💻 실습: Boxplot + 이상치 제거

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

warpbreaks = pd.read_csv('https://raw.githubusercontent.com/YoungjinBD/data/main/warpbreaks.csv')

# 시각화
warpbreaks.boxplot(column=['breaks'])
plt.title("📦 Boxplot of breaks")
plt.show()

# 이상치 기준 계산
Q1 = np.quantile(warpbreaks['breaks'], 0.25)
Q3 = np.quantile(warpbreaks['breaks'], 0.75)
IQR = Q3 - Q1
UC = Q3 + 1.5 * IQR
LC = Q1 - 1.5 * IQR

# 이상치 확인
outliers = warpbreaks.loc[(warpbreaks.breaks > UC) | (warpbreaks.breaks < LC)]
print(outliers)

📤 출력:

   breaks wool tension
4      70    A       L
8      67    A       L
22     10    A       H

---

🧹 이상치 제거

filtered = warpbreaks.loc[(warpbreaks.breaks <= UC) & (warpbreaks.breaks >= LC)]

✅ 분석 목적에 따라 제거하거나 별도 처리 가능

---

2️⃣ Z-score를 이용한 이상치 탐지

Z-score는 데이터가 평균에서 표준편차 단위로 얼마나 떨어져 있는지를 측정합니다.

---

📐 수식

• $\mu$ : 평균
• $\sigma$ : 표준편차

📌 일반적으로 |Z| > 3인 경우 이상치로 간주

---

💻 실습: Z-score 이상치 탐지

mean = warpbreaks['breaks'].mean()
std = warpbreaks['breaks'].std()
upper = mean + 3 * std
lower = mean - 3 * std

z_outliers = warpbreaks.loc[(warpbreaks['breaks'] > upper) | (warpbreaks['breaks'] < lower)]
print(z_outliers)

📤 출력:

   breaks wool tension
4      70    A       L

✅ Z-score는 평균 중심으로 분포가 정규분포일 때 더 잘 작동합니다.

---

🧠 Boxplot vs Z-score 비교

항목	Boxplot	Z-score
기준	사분위수 기반	평균과 표준편차
장점	분포에 무관	수학적 간결함
단점	극단적 이상치에 취약	비정규분포에 부정확

---

🎨 비유로 이해하는 이상치 처리

개념	비유
Boxplot	데이터들을 줄 세워서 바깥쪽 25%를 경계로 나누고, 더 튀면 쫓아냄
Z-score	전체 평균을 기준으로 너무 멀리 떨어지면 "너 이상해" 하고 경고

---

✅ 마무리 요약

방법	판단 기준	사용 예시
Boxplot	IQR 기준	시각적으로 판단, 통계적 분포가 필요 없을 때
Z-score	Z > 3	정규분포 기반 모델, 자동화 기준 필요할 때

---

💡 실전 팁

• 이상치를 제거할지, 수정할지, 보존할지는 문제에 따라 다릅니다.
• 예측력 중심이라면 제거, 인사이트 중심이라면 분리분석!

---

📌 다음 글에서는 결측치, 이상치, 범주형 처리, 정규화 등 전처리 파이프라인 자동화에 대해 다룰 예정입니다.
벨로그에서 구독하고 함께 통계생활 해봐요!

---