Scraping & Crawling

Scraping & Crawling이란?

Scraping & Crawling을 부르는 명칭은 다양하다.
spiders, bots, robots등등,,
이 들 명칭의 공통점을 찾아보면 무언가를 모으는 기능이 있다.
즉, Scraping & Crawling은 콘텐츠와 데이터를 웹 페이지에서 추출하는 기능이다.

Scraping & Crawling의 차이점:

"The short answer is that web scraping is about extracting the data from
one or more websites. While crawling is about finding or discovering
URLs or links on the web."

스크랩핑은 데이터를 추출하는 기능 / 크롤링은 url이나 link를 추출하는 기능

두개의 기능이 비슷해 보이지만 크롤러를 사용하여 웹 페이지 안에서 계속적으로 필요한 정보를 찾고, 스크래퍼를 이용하여 찾은 특정 데이터를 추출하여 복사본을 만드는 것이다.
즉, 두 가지의 기능은 비슷하면서도 연결되어 있는 기능으로 보면 된다.

주석 : https://www.zyte.com/learn/difference-between-web-scraping-and-web-crawling/
https://webscraping.pro/data-extraction-web-crawling-vs-web-scraping-e-commerce/