스터디 노트 50일차

• toPandas
  • pyspark dataframe 객체를 pandas dataframe 객체로 변환

• pandas로 변환하는 이유?
  • 시각화를 하기 위해서는 모든 데이터를 한번에 로드해야함
  • 대부분의 시각화 라이브러리 지원 가능
  • pyspark는 분산 처리 기반
    • 즉, 시각화에는 적합하지 않음

import plotly.graph_objects as go

import plotly.express as px

plotly graph_objects VS express

• graph_objects

• 직접 지정해줘야하는게 많지만, 커스터마이징이 가능

• express

  • 완성형 보편적인 그래프를 그릴 수 있음

• graph_objects와 express의 관계는 범용적인 시각화 라이브러리인 matplotlib과 seaborn의 관계와 비슷함

왜 plotly를 사용하나요?

• interactive한 그래프를 그릴 수 있음

• python에 익숙하다면 plotly에서 개발한 dash를 사용해 웹 대시보드까지도 발전 가능
  • 참고: https://dash.plotly.com/

Meta Data(메타 데이터)

:부가 정보를 추가하기 위해 데이터에 따라가는 정보라고 생각하면 된다.
ex)파일의 저장날짜, 종류 , 태그 등

그 외에 MySQL에서 작업한 내용은 이미 사전에 배운내용들