EDA (Exploratory Data Analysis, 데이터 탐색적 분석)

EDA (Exploratory Data Analysis, 데이터 탐색적 분석)

-시각화 도구를 통한 패턴 발견, 데이터의 특이성 확인, 가설 검정
-데이터를 다양한 각도에서 관찰하고 이해하는 모든 과정

EDA 종류

• Graphic (시각화)
  차트, 그림 등을 이용하여 데이터를 확인
  → 데이터를 한눈에 파악하여 대략적인 형태 파악 가능

• Non-Graphic (비시각화)
  그래픽적인 요소를 사용하지 않고 주로 Summary Statistics로 데이터 확인
  → 정확한 값을 파악하기 좋음
  ※ Summary Statistics
  요약통계량으로 .describe() 함수를 사용하면 평균, 중앙값, 최대/최소값 등 데이터의 컬럼별 요약 통계량 확인 가능
  

EDA 대상

• Univariate (일변량)
  EDA를 통해 파악하려는 변수 1개
  → 데이터를 설명하고 패턴을 찾는 것이 목적

• Multi-variate (다변량)
  EDA를 통해 파악하려는 변수 여러 개
  → 변수들 간의 관계를 보는 것이 목적

EDA 유형

	Univariate (일변량)	Multi-variate (다변량)
시각화 (Graphic)	- 히스토그램 - 막대그래프 - Box Plot - QQ-Plot	- 산점도 - 범주별 시각화
비시각화 (Non-Graphic)	- 통계 요약 - 빈도 표	- 교차 표 - 상관분석

• 일변량 시각화 (Uni-Graphic)
  데이터를 전체적으로 살펴보는 것이 주목적

  • 히스토그램, 막대그래프 : 데이터 분포 확인 및 이상치 파악에 주로 사용, 연속적인 데이터 사용하면 효과적
  • Box Plot : 이상치 파악 및 데이터의 치우침 정도 파악에 효과적
  • QQ-Plot : 왜도와 첨도 파악에 주로 사용

• 일변량 비시각화 (Uni-Non Graphic)
  데이터의 분포를 확인하는 것이 주목적

  • 통계 요약 : 주로 Numeric 데이터 분석에 사용
  • 빈도 표 : 특정 범위에 포함되는 빈도, 결측치 등을 파악할 때 사용

• 다변량 시각화 (Multi-Graphic)
  둘 이상의 변수 간 관계를 전체적으로 살펴보는 것이 주목적

  • 산점도 : 두 변수가 양적 변수일 때 종속 변수를 y축에 두고 빈도를 확인
  • 범주별 시각화 : 범주에 따라 일변량 시각화를 적용

• 다변량 비시각화 (Multi-Non Graphic)
  둘 이상의 변수 간의 관계를 확인하는 것이 주목적

  • 교차 표 : 범주형 데이터에 주로 사용
  • 상관분석