06.정적크롤링

jeong_hyeon·2022년 1월 21일
0

웹 크롤링

목록 보기
6/8

준비단계에서 필요한 request, BeautifulSoup 및 크롤링한 데이터를 엑셀파일로 옮겨줄 pandas 를 임포트 했다.

처음 헤더 부분없이 코드를 진행하였을때 req.status_code가 402를 나타내어서 해결책으로 헤더 부분을 넣어주었다.

메인 코드부분이며 select를 통해 정보를 찾고 찾은 데이터를 results리스트에 append하는 방식으로 데이터를 한곳으로 모았으며 최종적으로는 pandas 를 통해 엑셀파일로 뽑아보았다.


결과적으로 이렇게 나왔으며.. 생각해보니 엑셀은 시트에 번호가 붙어있어서 추후에 다시 한다고 하면 순위 부분은 제거하고 해도 될듯하다.

0개의 댓글