웹 크롤링이란?

addison·2022년 4월 1일
0

데이터 분석

목록 보기
2/48

🐼 Pandas : 파이썬의 대표적인 데이터 분석 도구로 금융 데이터 분석을 위해 만들어졌습니다.
🧮 Numpy : 파이썬의 수치계산 도구입니다.
📊 matplotlib : 파이썬의 대표적인 데이터 시각화 도구입니다.
📊 seaborn : matplotlib을 사용하기 쉽게 추상화 해 놓은 고수준 시각화 도구로 기본 통계 연산을 제공합니다.
📊 plotly : 고수준, 저수준 시각화 기능을 제공하며 인터랙티브한 시각화가 가능합니다.
📊 cufflinks : plotly와 pandas를 강력하게 이어주는 생산적인 도구입니다.
📈 FinanceDataReader : 코드 한 두 줄로 금융 데이터를 수집할 수 있는 도구입니다.
🌏 Requests : 웹 페이지의 소스코드를 HTTP 통신으로 받아올 수 있는 도구입니다.
🔍 BeautifulSoup4 : 웹 페이지의 소스코드에서 원하는 정보를 가져올 수 있는 도구입니다.
tqdm : 데이터 수집이나 전처리에서 오래 걸리는 작업의 진행 상태를 볼 수 있습니다.

Q. 왜 파이썬으로 데이터 분석과 수집 기술을 배워야 하나요?

엑셀은 어떤 업무를 하든 직장인의 필수 스킬 중 하나입니다. 하지만 엑셀로는 불러올 수 있는 데이터의 크기나 타입 등 한계가 있지만 파이썬을 통해 익히게 되면 다양한 포맷과 대용량 데이터도 다룰 수 있게 됩니다.

Q. 데이터 분석과 수집 기술을 배우면 무엇이 좋은가요?

필요한 데이터를 수집하기 위해 페이지마다 넘겨가며 드래그드랍과 복사붙여넣기를 통해 반복된 작업을 해야할 일들이 종종 발생합니다. 이런 일은 이제 파이썬에게 맡기고⏰ 좀 더 생산적인 일에 시간을 투자하거나 휴식🧘‍♀️을 취할 수도 있을거에요.

출처: https://www.inflearn.com/course/%EC%A6%9D%EA%B6%8C%EB%8D%B0%EC%9D%B4%ED%84%B0-%EC%88%98%EC%A7%91-%EB%B6%84%EC%84%9D

파이썬으로 데이터를 다루기 위해 꼭 익혀야할 JSON/XML 과 같은 데이터 포멧과, Open API 사용법, 그리고 웹 기본 기술

익히는 순서에 따라 번호를 붙여 놓았습니다.

  1. 파이썬 입문과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
  2. 쉽게 처음하는 파이썬 고급 크롤링 (현존 최강 크롤링 고급 기술 및 관련 IT 지식)
  3. SQL과 데이터 저장/분석 기본 (데이터 저장/분석)
  4. NoSQL(mongodb) 빅데이터 기본 (빅데이터 저장/분석)
  5. 처음하는 파이썬 데이터 분석 (데이터 전처리와 pandas, 최신 시각화) [데이터과학 Part1]
  6. 처음하는 파이썬 머신러닝 부트캠프 (쉽게! 실제 문제로 개념/활용 익히기) [데이터과학 Part2]
  7. AI 인공지능 부트캠프 (데이터 예측 자동화, 22' 상반기) [데이터과학 Part3]

익히는 순서에 따라 번호를 붙여 놓았습니다.

  1. 파이썬과 데이터 수집(크롤링) 기본 (파이썬과 웹, 데이터 이해 기본)
  2. MySQL과 데이터 저장/분석 기본 (SQL 데이터베이스 기본)
  3. NoSQL(mongodb) 빅데이터 기본 (NoSQL 데이터베이스 기본)
  4. 가장 빠른 풀스택: 파이썬 백엔드와 웹기술 기본 [풀스택 Part1]
  5. 풀스택을 위한 탄탄한 프론트엔드 기본: javascript (Vanilla JS 와 ES6+) 와 최신 웹기술 [풀스택 Part2]
  6. 풀스택을 위한 도커와 최신 서버 기술(리눅스, nginx, AWS, HTTPS, flask 배포) [풀스택 Part3]
  7. 풀스택 앱 개발을 위한 flutter 기본 (풀스택 Part4, 22' 상반기 오픈 예정)
  8. 풀스택을 위한 Vue 또는 React 프레임워크 기본 (풀스택 Part5, 22' 하반기 오픈 예정)

출처: https://www.inflearn.com/course/%EC%B2%98%EC%9D%8C-%ED%8C%8C%EC%9D%B4%EC%8D%AC-%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-%EC%9E%85%EB%AC%B8?inst=8f7d0ec8

https://www.fun-coding.org/ 잔재미코딩 이 분 블로그

0개의 댓글