모델을 학습하기 전에 데이터를 먼저 의심해야 한다 | Data Exploration 7 Steps

대부분의 현실 데이터는
행과 열로 구성된 Tabular Data 형태로 저장되어 있다.

처음 머신러닝을 공부할 때는
데이터가 준비되어 있으면 곧바로 모델을 선택하고 학습하면 되는 줄 알았다.

데이터 준비
↓
모델 선택
↓
학습
↓
평가

하지만 실제 데이터는 그렇게 친절하지 않았다.

값이 비어 있고,

같은 의미인데 표기가 다르고,

숫자형 Column에 문자열이 섞여 있고,

무한대가 들어가 있고,

앞뒤 공백이 붙어 있고,

정상 범위를 크게 벗어난 값도 존재한다.

예를 들어 다음과 같은 데이터가 있다고 해보자.

feature 1	feature 2	feature 3	feature 4	feature 5	feature 6
1	NaN	1	"tall"	"red"	0.1
5	NaN	1	" tall"	"green"	0.9
-∞	NaN	NaN	"short "	"green"	3.5
∞	NaN	10	"medium"	"green"	"?"

사람이 보면 금방 이상한 부분을 찾을 수 있다.

NaN
무한대
앞뒤 공백
문자열 형태의 알 수 없는 값
서로 다른 Target 표기

하지만 컴퓨터는 이것을 보고

이 값은 이상하니까 알아서 고쳐야겠다.

라고 판단하지 않는다.

우리가 넣어준 데이터 그대로 계산한다.

따라서 제대로 정리되지 않은 데이터는
잘못된 분석과 잘못된 학습 결과로 이어질 수 있다.

이번 강의에서는 모델링보다 먼저 수행해야 하는
Data Exploration의 7단계를 다뤘다.

이번 글을 통해 데이터 탐색이 무엇이고,
결측치와 이상치를 어떻게 바라봐야 하며,
변수 변환과 Feature Creation이 왜 필요한지 정리해보고자 한다.

---

Data Exploration이란?

Data Exploration은
본격적인 모델링에 들어가기 전에 데이터를 살펴보며
그 특성을 이해하는 과정이다.

쉽게 말하면 다음 질문에 답하는 것이다.

어떤 데이터가 들어 있는가?

각 Column은 무엇을 의미하는가?

값은 어떤 분포를 가지는가?

서로 관련된 변수는 무엇인가?

누락되거나 잘못된 값은 없는가?

모델링 전에 어떤 처리가 필요한가?

강의 자료에서는 데이터 탐색의 주요 목적을 다음과 같이 설명했다.

- 적절한 전처리 및 분석 도구 선택
- 사람이 가진 패턴 인식 능력 활용
- 흥미로운 변수 발견
- 데이터 내부의 패턴 발견
- 데이터 그룹 발견
- 이상치 발견
- 오류 발견

결국 Data Exploration은
단순히 그래프 몇 개를 그리는 과정이 아니다.

모델이 데이터를 학습하기 전에
사람이 먼저 데이터를 이해하는 과정이다.

---

데이터 분석과 데이터 탐색의 차이

데이터 분석은 데이터를 정리하고,
표현하고, 요약하고, 질문에 답하는 과정이다.

Organizing
Displaying
Summarizing
Asking Questions

반면 데이터 탐색은
아직 명확하게 정해지지 않은 가능성을 여러 방향으로 확인하는 과정에 가깝다.

이 변수에 이상한 값은 없을까?

두 변수 사이에 숨은 관계가 있지 않을까?

특정 그룹에서만 다른 패턴이 나타나지 않을까?

분석에는 구조적인 사고가 필요하고,
탐색에는 데이터를 여러 방향으로 잘라보는 인내심이 필요하다는 설명이 기억에 남았다.

결국 입력 데이터의 품질이
출력 결과의 품질을 결정한다.

Garbage In
↓
Garbage Out

좋지 않은 데이터를 강력한 모델에 넣는다고 해서
좋은 결과가 나오는 것은 아니다.

---

데이터는 먼저 시각화해야 한다

데이터를 탐색할 때는
먼저 각 변수를 독립적으로 확인한 뒤
변수 사이의 관계를 살펴보는 것이 좋다.

강의에서는 다음 순서를 제시했다.

각 변수 개별 확인
↓
그래프로 분포 확인
↓
수치적 요약 추가
↓
변수 사이의 관계 분석

왜 시각화가 중요할까?

평균과 표준편차가 같더라도
실제 데이터의 형태는 완전히 다를 수 있기 때문이다.

대표적인 사례가 Anscombe's Quartet이다.

네 개의 데이터셋은 다음 통계량이 거의 같다.

평균
표준편차
상관계수
회귀선

하지만 산점도로 보면
각 데이터의 패턴은 완전히 다르다.

직선 관계
곡선 관계
이상치 하나가 결과를 좌우하는 관계
특정 x값에 몰려 있는 관계

즉, 통계 수치만 보고 데이터의 모습을 판단하면
중요한 문제를 놓칠 수 있다.

숫자로 요약하기 전에
그래프로 직접 확인해야 한다.

---

표본을 통해 모집단을 추론한다

현실에서는 모든 데이터를 수집하기 어려운 경우가 많다.

예를 들어 미국 전체 성인의 평균 소비 패턴을 분석한다고 해보자.

모든 사람의 데이터를 전부 수집하는 것은
시간과 비용 측면에서 현실적이지 않다.

그래서 모집단 전체가 아니라
이를 대표할 수 있는 Sample을 선택한다.

Population
↓
Representative Sample 수집
↓
Sample 분석
↓
Population에 대한 Inference

여기서 중요한 것은
표본의 크기만이 아니다.

표본이 모집단을 제대로 대표하지 못한다면
아무리 복잡한 분석을 해도 잘못된 결론에 도달할 수 있다.

따라서 Sampling 과정에서도 다음을 생각해야 한다.

특정 집단만 과도하게 포함되지 않았는가?

중요한 집단이 빠지지는 않았는가?

수집 방식에서 편향이 발생하지 않았는가?

모든 데이터를 사용할 필요는 없지만,
사용하는 데이터가 전체를 잘 대표해야 한다.

---

Data Exploration의 7단계

강의에서는 데이터 탐색 과정을
다음 7단계로 정리했다.

1. Variable Identification
2. Univariate Analysis
3. Bi-variate Analysis
4. Missing Values Treatment
5. Outlier Treatment
6. Variable Transformation
7. Variable Creation

하나씩 정리해보자.

---

Step 1. Variable Identification

첫 번째 단계는
데이터에 어떤 변수가 존재하는지 확인하는 것이다.

먼저 Predictor와 Target을 구분해야 한다.

Predictor Variable
→ 예측에 사용하는 입력값

Target Variable
→ 모델이 최종적으로 예측해야 하는 값

예를 들어 학생이 크리켓을 할지 예측하는 데이터가 있다고 해보자.

Student ID	Gender	Exam Score	Height	Weight	Play Cricket
S001	M	65	178	61	1
S002	F	75	174	56	0

이때 변수는 다음과 같이 구분할 수 있다.

Predictor
- Gender
- Exam Score
- Height
- Weight

Target
- Play Cricket

그다음 각 변수의 자료형과 범주를 확인한다.

Student ID → Character / Identifier

Gender → Categorical

Exam Score → Quantitative

Height → Quantitative

Play Cricket → Binary Categorical

여기서 Student ID는 숫자처럼 보일 수 있지만
크기의 의미가 있는 수치형 변수가 아니다.

S002가 S001보다 두 배 크다

같은 해석은 성립하지 않는다.

즉, 숫자처럼 보인다고 모두 수치형 데이터는 아니다.

---

범주형 변수와 수치형 변수

변수는 크게 두 가지로 나눌 수 있다.

Categorical Variable

개체를 특정 그룹에 배치하는 변수다.

성별
지역
직업
결혼 여부
상품 종류

범주형 데이터는 다시 나눌 수 있다.

Nominal
→ 순서가 없는 범주

예시:
국가, 혈액형, 직업

Ordinal
→ 순서가 있는 범주

예시:
만족도 1~5
질병 단계
등급

Quantitative Variable

수치적 크기가 의미를 가지며
평균과 같은 연산을 적용할 수 있는 변수다.

나이
키
몸무게
소득
시험 점수

어떤 유형의 변수인지 알아야
적절한 분석과 시각화 방법을 선택할 수 있다.

---

Step 2. Univariate Analysis

Univariate Analysis는
변수를 하나씩 독립적으로 분석하는 과정이다.

여기서 가장 중요한 것은
Distribution, 즉 분포를 이해하는 것이다.

분포는 다음을 알려준다.

어떤 값이 존재하는가?

각 값이 얼마나 자주 등장하는가?

분포를 이해하는 것이 중요한 이유는
이후의 거의 모든 선택에 영향을 주기 때문이다.

정규분포인가?

한쪽으로 치우쳐 있는가?

여러 봉우리가 존재하는가?

극단적으로 큰 값이 있는가?

결측치가 많은가?

분포에 따라 다음이 달라진다.

사용할 통계 검정

시각화 방법

결측치 처리

이상치 처리

변수 변환

모델 선택

---

연속형 변수 분석

연속형 변수는
중심 경향과 퍼짐 정도를 확인한다.

중심 경향

Mean
Median
Mode
Minimum
Maximum

분산 정도

Range
Quartile
IQR
Variance
Standard Deviation
Skewness
Kurtosis

시각화

Histogram
Box Plot
Dot Plot

예를 들어 고객 소비 금액의 평균이 100만 원이라고 해보자.

하지만 대부분의 고객이 2만 원을 소비하고
일부 고객만 1억 원을 소비했다면
평균 100만 원은 일반적인 고객을 잘 설명하지 못한다.

따라서 평균만 보는 것이 아니라

중앙값
분포의 모양
이상치

를 함께 확인해야 한다.

---

범주형 변수 분석

범주형 데이터는
각 범주가 몇 번 나타나는지 확인한다.

주로 다음을 사용한다.

Count
Count Percentage
Frequency Table
Bar Chart

예를 들어 지역 변수가 다음과 같다고 해보자.

지역	인원	비율
Rural	14	14%
Suburb	53	53%
Small Town	25	25%
Big City	8	8%

이 표만 봐도
특정 범주에 데이터가 지나치게 몰려 있는지 확인할 수 있다.

분류 문제에서는 이런 불균형이
Class Imbalance 문제로 이어질 수 있다.

---

Step 3. Bi-variate Analysis

Bi-variate Analysis는
두 변수 사이의 관계를 분석하는 과정이다.

예를 들어 다음 질문을 확인할 수 있다.

소득이 증가하면 구매 금액도 증가하는가?

나이가 증가하면 이탈 가능성이 낮아지는가?

성별에 따라 상품 선택 비율이 다른가?

특정 Feature가 Target과 관련이 있는가?

이 분석을 통해 다음을 판단할 수 있다.

Target과 관련된 변수

도움이 되지 않는 변수

서로 중복되는 변수

비선형 관계

새로운 Feature 생성 가능성

예를 들어 집값 예측에서

대지 면적
→ 집값과 강한 관계

현관문의 색상
→ 집값과 의미 있는 관계가 없음

이라면 현관문 색상은
모델에 큰 가치를 제공하지 않을 가능성이 있다.

또 다음 두 변수가 있다고 해보자.

연간 소득
월간 소득

두 값은 거의 같은 정보를 담고 있다.

이 둘을 모두 사용하면
중복 정보와 다중공선성 문제가 발생할 수 있으므로
하나를 선택하는 것이 나을 수 있다.

---

Continuous & Continuous

두 연속형 변수 사이의 관계는
주로 Scatter Plot으로 확인한다.

강한 양의 상관관계

약한 양의 상관관계

상관관계 없음

음의 상관관계

곡선 관계

선형 관계의 강도를 수치화할 때는
Correlation을 사용할 수 있다.

-1
→ 완전한 음의 선형관계

0
→ 선형 상관관계가 없음

+1
→ 완전한 양의 선형관계

주의해야 할 점도 있다.

상관계수가 0이라고 해서
두 변수 사이에 아무 관계도 없다는 뜻은 아니다.

곡선 형태의 비선형 관계가 존재한다면
선형 상관계수는 낮게 나올 수 있다.

그래서 상관계수만 보지 말고
Scatter Plot을 함께 확인해야 한다.

---

Categorical & Categorical

두 범주형 변수 사이의 관계는
다음 방법으로 확인할 수 있다.

Two-way Table

Count / Count Percentage

Stacked Bar Chart

Chi-square Test

예를 들어 성별과 상품 구매 여부의 관계를 확인하려면
성별마다 구매와 미구매 비율을 비교할 수 있다.

---

Categorical & Continuous

범주형 변수와 연속형 변수를 비교할 때는
범주별 수치 분포를 비교한다.

예를 들어 직업별 연봉을 분석한다면
다음과 같은 방법을 사용할 수 있다.

Box Plot

Violin Plot

범주별 Mean / Median

분산 비교

이 과정을 통해
특정 범주가 수치형 Target과 관련이 있는지 확인할 수 있다.

---

Step 4. Missing Values Treatment

Missing Value는
데이터에 값이 존재하지 않는 상태다.

일반적으로 다음처럼 표현된다.

NaN
NULL
None
빈 문자열
?

결측치를 그대로 두면
다음 문제가 발생할 수 있다.

모델의 학습 능력 감소

편향된 결과 발생

잘못된 분류와 예측

통계량 왜곡

일부 알고리즘 실행 실패

Linear Regression이나 SVM처럼
결측치를 직접 처리하지 못하는 알고리즘도 있다.

하지만 결측치가 문제인 이유는
단순히 값이 없기 때문만은 아니다.

어떤 데이터가 비어 있다는 사실 자체가
중요한 정보일 수 있다.

예를 들어 특정 연령대만
소득 입력을 자주 거부했다면
결측 여부 자체가 해당 집단의 특성과 관련될 수 있다.

---

결측치는 왜 발생했는지부터 확인해야 한다

결측치 처리에서 가장 중요한 것은
결측이 발생한 원인을 이해하는 것이다.

강의에서는 다음과 같은 유형을 다뤘다.

---

MCAR

MCAR는
Missing Completely At Random의 약자다.

결측 발생 확률이
관측된 값과 관측되지 않은 값 모두와 무관한 경우다.

예를 들어 설문 응답자가 동전을 던져서
앞면이면 소득을 응답하고
뒷면이면 응답하지 않는다고 해보자.

누구에게나 같은 확률로 결측이 생긴다.

이 경우 결측은 데이터 특성과 무관하다.

MCAR라면 일부 데이터를 삭제하더라도
추론의 편향이 비교적 적을 수 있다.

하지만 표본 수가 줄어든다는 문제는 여전히 존재한다.

---

MAR

MAR는 Missing At Random의 약자다.

이름만 보면 완전히 무작위처럼 느껴지지만,
실제로는 관측된 다른 변수에 따라 결측 확률이 달라지는 경우다.

예를 들어 나이 정보의 결측률이
성별에 따라 다르다고 해보자.

남성의 나이 결측률: 5%

여성의 나이 결측률: 20%

결측 여부는 성별이라는 관측 가능한 변수와 관련되어 있다.

이 상태를 무시하면
특정 집단이 데이터에서 과소 표현되어
결과가 편향될 수 있다.

---

MNAR에 가까운 경우

결측 여부가
관측되지 않은 원인이나 결측값 그 자체와 관련될 수도 있다.

예를 들어 고소득자와 저소득자가
중간 소득자보다 자신의 소득을 공개하지 않을 가능성이 높다고 해보자.

이때 소득의 결측 여부는
실제 소득값 자체와 관련되어 있다.

또 의료 검사에 통증이 심한 사람들이
검사를 중단해 결과가 누락될 수도 있다.

이런 경우에는 단순 삭제나 평균 대체가
큰 편향을 만들 수 있다.

---

결측치를 처리하는 방법

결측치 처리 방법은 크게 다음과 같다.

Deletion

Simple Imputation

Similar Case Imputation

Prediction Model

Missing Indicator

---

Listwise Deletion

한 행에 하나라도 결측치가 있으면
그 행 전체를 삭제한다.

Age | Income | Job
25  | 5000   | Developer
30  | NaN    | Designer

두 번째 행에 결측치가 있으므로
행 전체를 제거한다.

장점은 간단하다는 것이다.

하지만 단점이 크다.

표본 수 감소

정보 손실

결측이 무작위가 아니라면 편향 발생

---

Pairwise Deletion

분석에 필요한 변수의 값이 존재하는 행만 사용한다.

예를 들어 Age와 Income의 상관관계를 구한다면
이 두 변수의 값이 있는 행만 사용한다.

다른 분석에서는 다른 표본이 사용될 수 있다.

장점은 더 많은 데이터를 유지하는 것이다.

하지만 분석마다 표본 크기와 구성원이 달라져
결과를 서로 비교하기 어려울 수 있다.

---

Mean / Median / Mode Imputation

결측치를 대표값으로 채우는 방식이다.

수치형
→ Mean 또는 Median

범주형
→ Mode

예를 들어 다음 값이 있다고 해보자.

20, 22, 25, NaN, 28

평균이나 중앙값을 계산해
결측치를 대체할 수 있다.

하지만 이상치가 많은 데이터에서는
평균보다 중앙값이 더 안정적일 수 있다.

대표값 대체는 간단하지만
데이터 분산을 인위적으로 줄이고
변수 사이의 관계를 왜곡할 수 있다는 한계가 있다.

---

Similar Case Imputation

전체 평균이 아니라
비슷한 집단의 평균이나 중앙값으로 채운다.

예를 들어 인력 수가 성별에 따라 다르다면
다음처럼 계산할 수 있다.

남성 그룹 평균

여성 그룹 평균

결측치가 발생한 행의 성별을 기준으로
해당 그룹의 대표값을 사용한다.

전체 평균을 사용하는 것보다
집단 특성을 더 잘 반영할 수 있다.

---

Prediction Model

결측치가 있는 변수를
하나의 Target으로 보고 예측 모델을 학습할 수도 있다.

흐름은 다음과 같다.

결측치가 없는 데이터
→ Training Data

결측치가 있는 데이터
→ Prediction 대상

결측된 Column
→ Target Variable

다른 Feature를 이용해
결측값을 예측하고 채운다.

사용 가능한 모델은 다음과 같다.

Linear Regression

kNN

Random Forest

Iterative Imputation

---

kNN Imputation이란?

kNN은 새로운 데이터와
가장 가까운 기존 데이터를 찾는 방법이다.

결측값을 채울 때는
해당 행과 가장 비슷한 이웃들의 값을 사용한다.

예를 들어 어떤 행의 소득이 비어 있고
가장 비슷한 두 사람의 소득이 다음과 같다고 해보자.

5000
6000

k = 2라면 평균인 5500으로 채울 수 있다.

장점은 데이터의 지역적인 구조를 반영한다는 것이다.

하지만 다음 문제가 있다.

스케일링에 민감함

데이터가 크면 계산량 증가

적절한 k 선택 필요

의미 없는 Feature가 거리 계산을 방해할 수 있음

---

Linear Regression Imputation이란?

결측값이 있는 변수를
다른 변수의 선형 조합으로 예측한다.

예를 들어 소득이 비어 있다면

소득
=
나이 × w1
+
경력 × w2
+
학력 × w3
+
b

와 같은 모델을 학습할 수 있다.

변수 사이에 선형 관계가 존재한다면 유용하다.

하지만 실제 관계가 비선형이거나
이상치가 많다면 잘못된 값을 생성할 수 있다.

---

결측치 처리 가이드라인

강의 자료에서는 다음과 같은
예시 정책을 제시했다.

결측 발생
    │
    ▼
결측이 완전히 무작위에 가까운가?
    │
 ┌──┴──┐
 │     │
YES    NO
 │      │
삭제 검토  ▼
       결측률이 높은가?
           │
      ┌────┴────┐
      │         │
    YES        NO
      │         │
ML 기반     표본이 작은가?
대체 고려        │
            ┌────┴────┐
            │         │
          YES        NO
            │         │
결측 정보가 중요한가?  단순 대체 또는
            │          모델의 자체 처리 검토
       ┌────┴────┐
       │         │
     YES        NO
       │         │
KNN, RF 등     평균·중앙값·최빈값
복합 대체       대체 검토

다만 이 흐름은 어디까지나
간단한 예시 정책이다.

특히 다음은 조심해야 한다.

결측률이 낮다고 무조건 무시하지 않는다.

0이 실제 의미를 가질 때만 0으로 채운다.

10%라는 기준은 절대적인 법칙이 아니다.

결측 원인과 도메인 의미가 우선이다.

예를 들어 계좌 잔액의 결측치를 0으로 채우면
실제로 잔액이 0인 계좌와
수집에 실패한 계좌를 구분할 수 없게 된다.

따라서 결측 여부를 별도 Feature로 만드는 방법도 있다.

income_missing = 1

scikit-learn에서는 다음 도구를 사용할 수 있다.

SimpleImputer

IterativeImputer

KNNImputer

MissingIndicator

이미 필요한 도구가 대부분 구현되어 있으므로
직접 알고리즘을 만드는 것보다
각 방법의 가정과 한계를 이해하고 적절하게 선택하는 것이 중요하다.

---

Step 5. Outlier Treatment

Outlier는 전체적인 패턴에서
멀리 떨어져 있는 관측값이다.

경진대회에서 데이터를 시각화하다 보면
다른 데이터들과 동떨어져 혼자 튀어 있는 점을 볼 때가 있다.

그런 값이 이상치다.

가장 빠르게 이해할 수 있는 예시를 들어보자.

대한민국 20대와 30대의 평균 소득을 조사하는데
세계적인 연예인의 소득이 포함됐다고 해보자.

대부분의 소득이 비슷한 범위에 몰려 있어도
극단적으로 높은 소득 몇 개가 평균을 크게 끌어올릴 수 있다.

일반적인 소득 데이터
+
블랙핑크 멤버의 소득
↓
평균이 크게 상승

이때 평균값만 보면
일반적인 20·30대의 소득 수준을 잘못 이해할 수 있다.

---

이상치는 왜 발생할까?

이상치를 발견했다고 해서
곧바로 삭제하면 안 된다.

먼저 발생 이유를 확인해야 한다.

강의에서는 이상치 원인을 다음과 같이 나눴다.

인위적인 오류

자연적으로 발생한 이상치

구체적으로는 다음과 같다.

---

Data Entry Error

사람이 데이터를 잘못 입력한 경우다.

키 175cm
→ 1750cm로 입력

---

Measurement Error

측정 장비나 센서의 오류다.

정상 온도: 24도

센서 오류: 240도

---

Intentional Outlier

민감한 질문에
응답자가 의도적으로 잘못된 값을 입력할 수 있다.

소득
건강 정보
정치적 성향

---

Data Processing Error

여러 데이터 소스를 합치거나 변환하는 과정에서
버그가 발생할 수 있다.

달러와 원화를 같은 단위로 처리

초와 밀리초를 혼동

중복 집계

---

Sampling Error

전체 Sample과 다른 모집단에 속한 데이터가
잘못 포함된 경우다.

예를 들어 성인 키를 분석하는 데이터에
아동 데이터가 들어간 경우다.

---

Natural Outlier

오류가 아니라
현실에서 실제로 존재하는 극단적인 값이다.

매우 높은 소득

드문 질병

초대형 거래

극심한 기상 현상

이런 값은 삭제 대상이 아니라
오히려 중요한 분석 대상일 수 있다.

---

이상치는 항상 나쁜 것일까?

아니다.

도메인에 따라 이상치가
가장 중요한 데이터가 될 수도 있다.

예를 들어 사고 발생 예측을 생각해보자.

대부분의 데이터는 정상 주행일 것이다.

하지만 우리가 정말 알고 싶은 것은
사고가 발생한 드문 상황이다.

정상 데이터
→ 대부분

사고 데이터
→ 매우 적음

이때 사고 데이터를 이상치라고 삭제한다면
분석의 목적 자체가 사라진다.

사기 거래 탐지, 침입 탐지, 장비 고장 탐지에서도 마찬가지다.

이상치는 통계적으로 드문 값일 뿐,
무조건 잘못된 값이라는 뜻은 아니다.

---

이상치를 탐지하는 방법

가장 먼저 해야 할 것은 시각화다.

대표적인 방법은 다음과 같다.

Box Plot

Histogram

Scatter Plot

이후 통계적인 기준을 함께 사용할 수 있다.

---

IQR 방식

IQR은 Interquartile Range의 약자다.

IQR = Q3 - Q1

일반적으로 다음 범위를 벗어난 값을
이상치 후보로 본다.

Lower Bound = Q1 - 1.5 × IQR

Upper Bound = Q3 + 1.5 × IQR

중요한 점은 이것이
이상치의 절대적인 정의가 아니라
후보를 찾기 위한 경험적 기준이라는 것이다.

---

Percentile 방식

다음과 같이 일정 백분위 밖의 값을
이상치 후보로 판단할 수 있다.

5th Percentile 미만

95th Percentile 초과

이후 값을 삭제하는 대신
경계값으로 제한하는 Capping을 사용할 수도 있다.

다만 5%와 95% 역시 고정된 정답이 아니다.

데이터 분포와 도메인에 따라
1%와 99%를 사용할 수도 있다.

---

Standard Deviation 방식

정규분포에 가까운 데이터에서는
평균으로부터 세 표준편차 이상 떨어진 값을
이상치 후보로 볼 수 있다.

|z-score| >= 3

하지만 분포가 심하게 치우쳐 있다면
이 기준은 적절하지 않을 수 있다.

결국 어떤 방식을 사용하든
그래프와 도메인 지식을 함께 확인해야 한다.

---

이상치는 어떻게 처리할까?

이상치 처리 방법은 다음과 같다.

삭제

Capping

변수 변환

값 대체

별도의 그룹으로 처리

이상치에 강한 모델 사용

---

삭제

명백한 데이터 입력 오류나 처리 오류라면
삭제를 고려할 수 있다.

나이 = 250세

키 = -170cm

하지만 실제로 존재하는 값이라면
단순 삭제하면 안 된다.

---

Capping

상한과 하한을 설정하고
범위를 벗어난 값을 경계값으로 바꾼다.

95th Percentile보다 큼
→ 95th Percentile 값으로 변경

극단값의 영향을 줄이면서
행 자체는 유지할 수 있다.

---

Transforming Values

로그 변환 등을 사용해
극단적인 값의 크기를 압축할 수 있다.

원본:
1, 2, 3, 10, 1000

로그 변환:
0, 0.69, 1.10, 2.30, 6.91

1000이라는 값이 여전히 가장 크지만
다른 값과의 격차가 줄어든다.

---

Imputation

명백한 오류로 판단되는 이상치를
평균, 중앙값이나 예측값으로 바꿀 수 있다.

하지만 자연적으로 발생한 이상치를
일반적인 값으로 덮어쓰면 중요한 정보를 잃을 수 있다.

---

별도 그룹으로 처리

이상치가 충분히 많고
일반 데이터와 다른 행동 패턴을 보인다면
별도의 그룹으로 나누어 모델링할 수 있다.

일반 고객 모델

고액 자산가 모델

각 그룹에 별도의 모델을 적용한 뒤
결과를 합치는 방식이다.

---

실시간 데이터의 이상치는 어떻게 처리할까?

수업에서 다룬 대부분의 방법은
이미 수집된 Tabular Data를 분석하는 Batch 환경에 가깝다.

하지만 실시간 센서나 거래 데이터에서는
상황이 조금 다르다.

실시간 환경에서는 다음이 중요하다.

최근 구간의 통계량

이동 평균

Rolling Standard Deviation

시간대별 정상 범위

Concept Drift

Streaming Anomaly Detection

예를 들어 서버 응답 시간이 평소 100ms인데
갑자기 500ms가 되었다고 해보자.

전체 데이터 기준으로는 이상하지 않을 수 있지만
최근 5분 평균과 비교하면 이상할 수 있다.

즉, 실시간 이상치는
고정된 전체 분포가 아니라
시간에 따라 변하는 정상 상태를 기준으로 판단해야 한다.

---

Step 6. Variable Transformation

Variable Transformation은
기존 변수에 함수를 적용해 다른 형태로 바꾸는 과정이다.

예를 들어 변수 x를 다음과 같이 바꿀 수 있다.

log(x)

sqrt(x)

x³

구간화

변환의 목적은 단순히 숫자를 바꾸는 것이 아니다.

분포의 형태를 조정하고,

극단값의 영향을 줄이고,

변수 사이의 관계를 더 명확하게 만들고,

모델이 학습하기 쉬운 형태로 바꾸는 것

이다.

---

언제 변수 변환을 사용할까?

대표적으로 다음 상황에서 사용한다.

변수들의 단위가 크게 다를 때

분포가 한쪽으로 심하게 치우쳤을 때

극단값의 영향이 클 때

비선형 관계를 선형 관계에 가깝게 만들고 싶을 때

해석과 실제 정책 적용을 쉽게 만들고 싶을 때

예를 들어 나이와 소득을 함께 사용한다고 해보자.

나이: 20 ~ 70

소득: 20,000,000 ~ 1,000,000,000

거리 기반 모델에서는 소득의 크기가
나이의 영향을 압도할 수 있다.

이 경우 Standardization이나 Normalization을 적용할 수 있다.

---

로그 변환은 왜 사용할까?

로그 변환은
오른쪽으로 길게 늘어진 분포를 완화하는 데 자주 사용된다.

소득, 매출, 조회수와 같은 데이터는
일부 값이 매우 큰 경우가 많다.

대부분: 10 ~ 100

일부: 10,000 이상

로그를 적용하면 큰 값을 압축할 수 있다.

10 → 1

100 → 2

10,000 → 4

밑이 10인 로그의 예시다.

값의 차이가 줄어들면서
분포가 더 대칭적인 형태에 가까워질 수 있다.

로그 변환의 장점은 다음과 같다.

오른쪽 Skewness 감소

극단값 영향 완화

곱셈 관계를 덧셈 관계로 변환

비선형 관계를 선형에 가깝게 표현

다만 일반 로그는
0이나 음수에 바로 적용할 수 없다.

따라서 데이터 특성에 따라

log1p(x)

값 이동 후 로그

다른 변환

을 고려해야 한다.

---

대표적인 변수 변환 방법

Logarithm

오른쪽으로 치우친 분포를 줄이는 데 사용한다.

조건:
일반적으로 양수 데이터에 사용

---

Square Root

로그보다 완만한 변환이다.

0 이상의 값에 사용 가능

Count Data 등에서 사용할 수 있다.

---

Cube Root

음수와 0에도 적용할 수 있다.

로그나 제곱근보다 변환 효과는 약할 수 있지만
부호를 유지할 수 있다는 장점이 있다.

---

Standardization

평균을 0, 표준편차를 1로 맞춘다.

z = (x - mean) / standard deviation

Feature의 단위를 통일하는 데 유용하다.

---

Normalization

값을 특정 범위로 조정한다.

0 ~ 1

거리 기반 모델이나 Neural Network에서 자주 사용한다.

---

Binning

연속형 변수를 범주형 구간으로 나눈다.

예를 들어 나이를 다음과 같이 바꿀 수 있다.

30세 미만

30 ~ 45세

45세 초과

소득은 다음처럼 바꿀 수 있다.

Low

Average

High

구간화는 해석과 정책 적용을 쉽게 만들지만
원래 수치 정보가 손실될 수 있다.

구간을 어떻게 나눌지는
비즈니스와 도메인에 대한 이해가 필요하다.

---

Step 7. Variable Creation

Variable Creation은
기존 변수를 이용해 새로운 Feature를 만드는 과정이다.

예를 들어 날짜 Column이 있다고 해보자.

2026-07-22

이 값을 그대로 사용하는 대신
다음 Feature로 나눌 수 있다.

Year = 2026

Month = 7

Day = 22

Weekday = Wednesday

Weekend = 0

Target과 더 강한 관계를 가진 Feature가
새롭게 드러날 수 있다.

예를 들어 주문량은 날짜 자체보다
요일이나 주말 여부와 더 관련이 있을 수 있다.

---

Variable Transformation과 Feature Creation의 차이

두 개념은 비슷해 보이지만 조금 다르다.

Variable Transformation

기존 변수를 다른 형태로 바꾸는 것이다.

income
→ log(income)

보통 원래 Feature의 분포나 관계를 조정하는 것이 목적이다.

Feature Creation

기존 변수로부터
새로운 의미를 가진 Feature를 추가하는 것이다.

debt / income
→ debt_ratio

weight / height²
→ BMI

현재 날짜 - 마지막 로그인 날짜
→ days_since_last_login

즉,

Transformation
→ 표현 방식 변경

Creation
→ 새로운 정보 생성

이라고 볼 수 있다.

다만 실제 머신러닝에서는
로그값이나 구간화 결과를 새로운 Column으로 추가할 수도 있어
두 개념이 완전히 분리되지는 않는다.

---

Feature Creation의 목적

Feature Creation의 가장 중요한 목적은
원본 데이터에 숨어 있는 관계를 드러내는 것이다.

예를 들어 키와 몸무게가 각각 Target과 약한 관계를 보이더라도
두 값을 조합한 BMI는 강한 관계를 가질 수 있다.

Height
+
Weight
↓
BMI

자동매매 프로그램에서도 비슷하다.

원본 데이터가 다음과 같다고 해보자.

현재 가격

직전 가격

매수 체결량

매도 체결량

현재 시간

이를 이용해 다음 Feature를 만들 수 있다.

가격 변화율

매수·매도 체결량 비율

최근 5분 변동성

장 시작 후 경과 시간

거래량 이동 평균

모델 입장에서는 원본 값보다
이런 Feature가 문제를 더 직접적으로 표현할 수 있다.

좋은 Feature가 많을수록
모델이 문제의 구조를 학습하기 쉬워진다.

하지만 무조건 많은 Feature가 좋은 것은 아니다.

메모리 사용량 증가

학습 시간 증가

중복 Feature 증가

과적합 가능성

노이즈 증가

가 발생할 수 있다.

Feature는 많이 만드는 것보다
문제와 관련된 의미 있는 값을 만드는 것이 중요하다.

---

Derived Variable

Derived Variable은
기존 변수들을 조합해 만든 새로운 변수다.

대표적인 예시는 다음과 같다.

BMI = Weight / Height²

Revenue = Price × Quantity

Debt Ratio = Debt / Income

Age = Current Date - Birth Date

어떤 변수를 만들지는
정해진 공식만으로 결정하기 어렵다.

분석가의 다음 능력이 필요하다.

도메인 지식

호기심

가설 설정

데이터에 대한 이해

결국 Feature Engineering은
단순한 기술 작업이 아니라
문제를 어떻게 바라보느냐와 연결된다.

---

Dummy Variable이란?

대부분의 머신러닝 모델은
숫자 형태의 입력을 요구한다.

하지만 데이터에는 다음과 같은 범주형 값이 존재한다.

성별

국가

직업

결혼 여부

이 값을 숫자로 변환하기 위해
Dummy Variable을 사용할 수 있다.

Dummy Variable은
Indicator Variable이라고도 부른다.

예를 들어 성별이 다음과 같다고 해보자.

Gender
Male
Female

이를 다음처럼 변환할 수 있다.

Gender_Male	Gender_Female
1	0
0	1

각 범주에 해당하면 1,
해당하지 않으면 0을 넣는다.

이 과정을 일반적으로
One-Hot Encoding이라고 부른다.

다만 선형 회귀와 같이
완전한 다중공선성을 피해야 하는 모델에서는
범주 하나를 기준으로 제외하는 방식도 사용한다.

drop_first = true

즉, 범주형 데이터를 수치형으로 변환할 때도
모델의 특성을 고려해야 한다.

---

데이터 탐색 전에 확인할 현실적인 문제

7단계를 시작하기 전에도
확인해야 하는 부분이 있다.

데이터 출처를 신뢰할 수 있는가?

오래된 데이터는 아닌가?

CSV, JSON, XML, SQL 중 어떤 형식인가?

데이터 크기는 어느 정도인가?

저장 공간은 충분한가?

여러 출처의 데이터를 합쳐야 하는가?

데이터 버전은 관리되고 있는가?

각 Column에 대한 문서가 존재하는가?

데이터가 작다면 Excel이나 Pandas만으로도 처리할 수 있다.

하지만 수백만 개 이상의 데이터와
중첩 JSON, 이미지, 시계열이 포함된다면
Spark나 Cloud Storage 같은 도구가 필요할 수 있다.

Data Exploration은 단순 분석 기술이 아니라
데이터의 크기와 구조에 맞는 시스템 선택도 포함한다.

---

교내 AI 경진대회에서 내가 놓쳤던 부분

이번 강의를 들으며
이전에 참가했던 AI 경진대회가 떠올랐다.

당시 나는 주어진 데이터를 빠르게 모델에 넣고
성능을 높이는 데 집중했다.

TF-IDF

LinearSVC

후처리 Rule

Masking

같은 방법을 여러 번 시도했다.

하지만 돌이켜보면
초반 데이터 탐색이 충분히 구조적이지 않았다.

어떤 클래스가 특히 부족한지

특정 Feature가 Target과 어떤 관계인지

잘못된 형식의 Sample은 없는지

모호한 Sample이 어떤 그룹에 몰려 있는지

Outlier에 가까운 입력은 무엇인지

분포가 Train과 Blind Test에서 달라지는지

를 처음부터 체계적으로 정리했다면
실험 방향이 덜 중구난방이었을 것이다.

실제로 대회 후반부에 성능을 높인 것도
모델을 더 복잡하게 만든 결과라기보다

어떤 유형에서 틀리는지 분석하고,

Masking이 언제 살리고 언제 망치는지 보고,

특정 그룹을 따로 진단한 것

에 가까웠다.

결국 그것도 Data Exploration의 일부였다.

나는 당시 모델링을 먼저 하고
나중에 데이터 탐색을 수행한 셈이다.

모델이 틀렸다고 생각하기 전에
먼저 데이터가 어떤 구조를 가지고 있는지 확인했어야 했다.

---

이번 강의를 들으며 느낀 점

처음에는 Data Exploration을
그냥 데이터의 평균을 구하고 그래프를 그리는 과정이라고 생각했다.

하지만 실제로는 훨씬 넓은 과정이었다.

변수의 의미를 확인하고,

분포를 이해하고,

변수 사이의 관계를 찾고,

결측치의 발생 원인을 추론하고,

이상치가 오류인지 중요한 신호인지 판단하고,

필요한 변환과 Feature를 만드는 것

이 모든 것이 Data Exploration에 포함된다.

그리고 가장 인상 깊었던 점은
정해진 하나의 처리 방법이 없다는 것이다.

결측치
→ 무조건 삭제하지 않는다.

이상치
→ 무조건 제거하지 않는다.

로그 변환
→ 모든 수치형 변수에 적용하지 않는다.

Feature
→ 많을수록 무조건 좋은 것이 아니다.

모든 판단은
문제의 목적과 데이터가 생성된 도메인에 따라 달라진다.

이미 Python과 scikit-learn에는
결측치 처리와 이상치 탐지를 위한 도구가 많이 존재한다.

하지만 도구를 실행하는 것과
결과를 올바르게 해석하는 것은 다른 문제다.

결국 중요한 것은

어떤 함수를 사용할지 외우는 것이 아니라,
왜 이 처리가 필요한지를 이해하는 것

이라고 느꼈다.

---

결론

결론은 간단하다.

모델을 학습하기 전에
데이터를 먼저 이해해야 한다.

Data Exploration의 7단계는 다음과 같다.

1. Variable Identification
2. Univariate Analysis
3. Bi-variate Analysis
4. Missing Values Treatment
5. Outlier Treatment
6. Variable Transformation
7. Variable Creation

이 과정을 통해 다음을 확인할 수 있다.

데이터의 구조

각 변수의 분포

변수 사이의 관계

결측치의 원인

이상치의 의미

필요한 전처리

새롭게 만들 수 있는 Feature

좋은 모델을 선택하는 것도 중요하다.

하지만 모델이 학습하는 것은
결국 우리가 제공한 데이터다.

강력한 모델
+
잘못된 데이터
=
잘못된 결과

반대로 단순한 모델이라도
데이터를 제대로 이해하고 좋은 Feature를 제공하면
충분히 좋은 결과를 만들 수 있다.

이번 강의를 통해
머신러닝의 시작점은 모델 선택이 아니라는 것을 다시 느꼈다.

모델을 의심하기 전에
먼저 데이터를 의심하자.