파이썬 데이터 분석

데이터 과학!

데이터의 분석과 활용이 개인과 조직의 새로운 힘이 되고 경쟁력이 되는 시대입니다. 데이터 사이언스는 데이터 수집, 큐레이션, 통계 분석과 기계학습 등의 다양한 기술과 지식을 활용하여 복잡한 데이터로부터 인사이트를 얻거나 지능화된 시스템을 구현하기 위한 모든 업무를 총칭.

• 소프트웨어 컴퓨터 공학(SW 개발, 기계학습, 데이터 사이언스)
• 수학 통계학(모델 연구, 기계학습, 데이터 사이언스)
• 도메인 및 절차 지식(SW 개발, 모델 연구, 데이터 사이언스)

데이터 분석 프로세스

목표설정 > 데이터 획득 > 데이터 준비 > 데이터 탐색 > 모델링 및 구축 > 발표 및 적용
개발자 입장(Python) : 수집(requests, BeautifulSoup, Scrapy) > 처리(Database, SQLAlchemy, Pandas) > 분석(Pandas, Numpy, Scipy) > 적용(Matplotlib, Plot.ly)

데이터 구하기

• Raw Data : RDB, DW, Data Lake, File(CSV, log, txt, Excel), Service, …
• Open Dataset, Open API
• 스크래핑

스크래핑

• 파이썬으로 쉽고 편하게 스크래핑을 개발할 수 있다.
• request, urllib3
• scrapy
• selenium
• 파싱 : BeautifulSoup, lxml, JSON

데이터 처리와 분석

데이터 과학의 80%는 데이터 클리닝에 소비되고, 나머지 20%는 그걸 불평하는데 쓰인다.

• pandas + python + SciPy + NumPy
• 데이터를 불러오고
  • 닦고 채우고 자우고 자르고 붙이고 돌리고 묶고 분류하고 계산하고 변형한 뒤
• 분석 저장하거나 다음 단계로 전달
• pandas 유용

시각화(데이터 분석)

• 분석된 숫자가 있는데 왜 필요할까?

• 필요성 : 앤스컴 콰르텟

  • 같은 데이터를 표현하더라도 어떤 기준을 잡느냐(평균, 표본분산, 상관관계 등)에 따라 그래프의 모양은 천차만별.
  • 예뻐서 : 사람들이 이해하기 쉽게 전달하려고
  • EDA의 중요한 과정
  • 데이터 탐색 : 데이터 이해, 트랜드와 패턴 파악, 특이값 찾아내기, 모델 선정
  • 패턴을 인식하는 인간의 능력 활용하기
  • 데이터 리터러시(데이터 문해력)
  • 시각화 방법 선택 > 다방면으로 살펴보기

• How to Choose the Right Type of Chart for Your Message
  https://education.microsoft.com/ko-kr/course/0a60eeb6/1

시각화

• 많이 사용하는 라이브러리들
  • matplotlib : 기본
  • seaborn : matplotlib 기반
  • plot.ly and ploy.ly express : Javascript, Interactive
  • Bokeh
  • Altair and vega
  • 모두 Jupyter Notebook에서 사용 가능

개선하기

• 협업
  • nbconvert, nbviewer, binder : Publish
• Jupyter Lab : 차세대 Notebook
• 성능
  • 코드 : 프로파일링(%time, %timeit, %prun)
  • GPU 가속 : CUDA, cuDF
  • Clustering/parallelism : dask, vaex
• JIT : PyPy, numba
• Cloud
  • AWS SageMaker
  • GCP AI Platform
  • Azure ML Notebook
  • Jetbrains DataLore
• Alt. Tool
  • VSCode도 노트북 지원
  • Jetbrains DataSpell

Closing

• 컨퍼런스/커뮤니티 : PyCon, PyData, JupyterCon
• 참조
  • (책) 파이썬 라이브러리를 활용한 데이터 분석
  • (책) 파이썬 데이터 사이언스 핸드북
  • (책) 밑바닥부터 시작하는 데이터 과학
  • (web) jupyterbook, kaggle, dacon, github, etc