topic crawler 설치 방법

topic crawler는 아래 사이트에서 제공한 오픈소스이다.

https://github.com/ju1115kr/topiccrawler

해당 프로젝트는 window에 linux(-ubuntu)를 설치하여 사용했다.

https://velog.io/@qkqhqhrh11/Window에-Linux-설치-방법
설치방법은 위의 포스트를 이용

1. 실행하기 전 필요한 소프트웨어 설치

sudo apt-get update

//python3 (>= 3.3.0)와 expect를 설치

sudo apt-get install -y python3 python3-pip expect

2. 필요한 라이브러리 설치

//requests와 lxml와 BeautifulSoup4를 설치

sudo pip3 install requests lxml beautifulsoup4

3. github에서 코드 가져오기

sudo apt-get install git-core
sudo apt-get install git
git clone https://github.com/ju1115kr/topiccrawler.git

사용할 오픈소스가 있는 주소를 git clone

잘 clone되었다면 아래사진처럼 directory가 생기는 것을 볼 수 있다.

4. 실행

python3 topic\ crawler.py

이렇게 하면 정상적으로 출력이 되어야 하는데, 자꾸 오류가 뜬다.
코드분석을 해보니 해당 코드에서 네이버코드와 맞지 않는 부분들이 있어 실시간 검색어를 불러오지 못하는 오류가 발생했다.

어쩔 수 없이 다른 네이버실시간검색어크롤링 python 코드를 사용하게 되었다.

코드 주소:
https://gist.github.com/jeaho0613/f3babd435e8d4ae52bc35194d2a832e5

'topic crawler.py' 코드를 위의 코드로 바꿔주었다.

(잘 실행되는 모습을 볼 수 있다.)