Week 8. EDA : 탐색적 자료 분석

EDA : Exploratory Data Analisys

기존의 통계학이 정보의 추출에서 가설 검정 등에 치우쳐 자료가 가지고 있는 본연의 의미를 찾는데 어려움이 있어, 이를 보완하고자 주어진 자료만 가지고도 충분한 정보를 찾을 수 있도록 여러 가지 탐색적 자료 분석 방법

빅데이터 분석 방법론

1. 5단계

1) 부석 기획
2) 데이터준비
3) 데이터 분석
4) 시스템 구현
5) 평가 및 전개

3) 데이터 분석

데이터 준비 -> 텍스트 분석 -> 탐색적 분석 -> 모델링 -> 모델 평가및 검증 -> 모델 적용 및 운영 방안 수립

3-1) 탐색적 데이터 분석

• 다양한 관점 별로 기초 통계량(평균, 분산, 표준편차, 최대값, 최소값)을 산출하고, 데이터의 분포와 변수간의 관계 등 데이터 자체의 분포와 변수간의 관계 등 데이터 자체의 특성 및 데이터의 통계적 특성을 이해하고 모델링을 위한 기초자료

3-2) 데이터 시각화

• EDA를 위한 분석 도구
• 모델링 또는 향후 시스템 구현을 위한 사용자 인터페이스 또는 프로토타입으로 활용될 수 있다