EDA(Exploratory Data Analysis)와 데이터 전처리(Data Preprocessing) ..
데이터 분석에 관심이 있다면 엄마 잔소리만큼 자주 듣게 되는 개념이다.
"Garbage in, Garbage out"
해당 개념을 정리해보자.
명칭은 EDA 와 Preprocessing로 통일
자료 출처:
1. IBM Technology Youtube
2. Krich Naik Youtube
IBM영상은 초등학생용 영상, Krich Naik라는 인도 형님 영상은 데이터 분석 입문자들에게 딱 맞는 수준의 영상.
역시 교육 강국 인도!
한 줄 요약
Preprocessing: raw data를 useful data로 만들어주는 과정
EDA: Preprocessing의 첫 단계로 결측치, 이상치, 데이터 타입 확인
Data Preprocessing Steps
Step1: EDA
Step2: 결측치 처리
Step3: 불균형 데이터 처리
Step4: 이상치 처리
Step5: Scaling
Step6: 범주형 -> 수치형 변환
위 과정을 feature engineering 이라고 부르는데, 이 feature engineering은 분석 모델의 성능을 결정하기 때문에 아주 중요하다.
