[python] web scraping

파이썬 데이터 수집(web scraping)

• requests
  • https://requests.readthedocs.io/en/master/
  • http 통신
  • http Client 의 역할
  • python 기본 라이브러리 urllib 모듈

• beautifulsoup
  • https://www.crummy.com/software/BeautifulSoup/bs4/doc/
  • html, xml 형식의 Document Parsing

데이터분석(data science)

• pandas
  • https://pandas.pydata.org/
  • Tablet(표) 데이터 분석, 데이터 가공, 처리

• Matplotlib, Seaborn
  • 표나 그래프 형식으로 시각화
  • https://matplotlib.org/gallery/index.html # Matplolib
  • https://seaborn.pydata.org/ # Seaborn
  • ggplot(R의 시각화 프로그램을 사용), folium(지도), plotnine

• Pymysql, SqlAlchemy
  • mysql(maria) DB 연동 - pymysql, sql
    • https://github.com/PyMySQL/PyMySQL
  • sqlalchemy (ORM - object relational mapping)
    • https://www.sqlalchemy.org/