profile
I hope the All-Rounder Developer & Researcher
post-thumbnail

[TIL] Python Crawler : May 12, 2020

Algorithm 업무상 필요한 크롤러를 개발하던 중 명확한 알고리즘이 필요할 것 같아 크롤링에 관련된 알고리즘을 작성해볼까 한다. 해당 웹 페이지는 1페이지에 총 30개의 게시물이 보여지며, 새로운 게시물이 올라오면 해당 게시판 최상단에 게시되며, 30개가 넘어가게

2020년 5월 12일
·
0개의 댓글
post-thumbnail

[TIL] Python Crawler : May 11, 2020

Data 연구 진행 중 데이터가 필요하여 Selenium 기반의 간단한 크롤러를 만들어볼까 한다. 개발 툴로는 Spyder 4.1.2 버전을 사용할 계획이며, 크롤러에 필요한 패키지는 `selenium, urllib, pandas 총 3개의 패키지를 사용할 계획이다.

2020년 5월 11일
·
0개의 댓글