[Web Crawling] Google Colaboratory와 크롤러 연결하기

google colaboratory에서 작업한 파일을 자동으로 google drive에 올리기기존 코드로 접근하던 방식에서 종목 이름으로 접근하도록 바꾸기crawler.jpynb(https://colab.research.google.com/drive/1-X2H

2022년 1월 31일
·
0개의 댓글

[Web Crawling] 2. Tweepy 원하는 데이터 불러오기

user_id나 screen_name 중 하나의 parameter로 user 명시count: default는 20 (<=200)screen_name을 이용해서 타임라인 데이터 불러오기수집 옵션에 api.user_timeline을 입력해주고 400개 만큼 수집합니다

2022년 1월 29일
·
0개의 댓글
post-thumbnail

[Machine Learning] 사이킷런(sklearn)

다양한 알고리즘과 편리한 프레임워크, API많은 환경에서 사용되는 성숙한 라이브러리사이킷런에서 제공하는 결정트리를 이용해보자.분할과 가지치기 과정을 반복하며 모델을 생성분류와 회귀 모두 사용할 수 있다...sklearn 패키지에서 tree를 가져옵니다.임의로 만든 데이

2022년 1월 28일
·
0개의 댓글
post-thumbnail

[Web Crawling] 4. 과거 주식 데이터 불러와서 저장하기

Pandas 아래에서 진행하는 내용은 pandas 라이브러리를 사용합니다. 데이터 불러오기 네이버 금융 - 카카오 위의 코드를 실행시켰더니.. 아무것도 없다.. bsObject를 출력하도록 해봤더니 ![](https:

2022년 1월 27일
·
0개의 댓글
post-thumbnail

[Pandas] 3. DataFrame의 Join (merge)

innerleft outer joinright outer joinouter joinpd.merge(left, right, how, on, left_on, right_on, left_index, right_index)left : 왼쪽 DataFrameright : 오른쪽

2022년 1월 26일
·
0개의 댓글
post-thumbnail

[Pandas] 2. DataFrame

DataFrame이란 2차원 데이터 하나 이상의 Series가 모여있는 데이터

2022년 1월 26일
·
0개의 댓글
post-thumbnail

[Web Crawling] 3. 네이버 금융에서 카카오 주식 가져오기

카카오 주식 url : https://finance.naver.com/item/main.naver?code=035720위와 같이 한글이 깨져서 보이는 문제가 생긴다!urlopen이 아닌 requests.get으로 웹사이트를 불러오고 'euc-kr'로 디코딩하여

2022년 1월 22일
·
0개의 댓글
post-thumbnail

[Web Crawling] 2. 필요한 데이터만 가져오기

가져온 데이터 분류하기 웹 크롤링을 통해 데이터를 가져올 때, 내가 필요한 데이터만 가져오는 방식에 대해 소개하고자 한다 findAll() find_all() CSS 코드를 이용해 불러오는 방식이다 findAll(tag, attributes, recursive

2022년 1월 21일
·
0개의 댓글
post-thumbnail

[Web Crawling] 1. 파이썬 웹 크롤링

파이썬을 이용해서 웹 크롤러 만들기! 사전 준비 terminal에서 pip install requests beautifulsoup4 또는 pip3 install requests beautifulsoup4 으로 requests와 beautifulsoup4 패키

2022년 1월 21일
·
0개의 댓글