TIL 06 | Python web scraping 응용 (참고 사이트 모음)

Web scraping이란 웹 페이지에서 원하는 데이터 추출하여 수집하는 것으로 한국에서는 Crawling이라고도 부른다.

한 페이지 크롤링에는 성공하였으나

여러 페이지를 크롤링하려면

1. 페이지 별 URL, copy selector 분석하기 (페이지를 의미하는 부분, 페이지 변화 규칙 파악)

2. 해당 부분에 동적 url 적용할 방법 찾기
   
   

참고자료 사이트 모음

How to scrape many dynamic urls in Python - stackoverflow

How to Scrape Multiple Pages of a Website Using a Python Web Scraper - Angelica Dietzel's medium
#Changing the URL Parameter
#Controlling the Crawl Rate

Pagination 된 게시판 크롤링 - Posted in crawl
Pagination은 페이지 번호 매김을 의미하며 여기에는 일련의 규칙이 있다.

또 다른 방법 : Python requests 모듈 중 params 이용하면 어떨까?

Python requests 모듈 간단 정리 - 개발새발로그