웹크롤링과 웹스크래핑의 차이

본문의 내용의 출처는 https://98yejin.github.io/2020-11-02-crawling-vs-scraping/.
위 블로그의 내용을 요약함.

최종적으로 결론부터 이야기하면, 웹크롤링과 웹스크래핑을 통해 거대한 빅데이터 속에서 내가 원하는 정보를 찾을 수 있음.

웹 크롤링

웹 크롤링은 웹 크롤러(자동화 봇)가 일정 규칙으로 웹페이지를 브라우징 하는 것이다.
웹 크롤러는 웹 페이지의 내부 링크를 따라 인터넷을 체계적으로 검색하여 콘텐츠를 검색하는 독립 실행형 봇이다.

Google, Bing 등과 같은 검색 엔진에서 URL의 콘텐츠를 추출하고, 이 페이지에서 다른 링크를 확인하고, 링크의 URL을 가져오는 데 주로 사용됩니다.

웹 스크래핑

웹 스크래퍼는 특정 데이터를 추출하는 프로세스이다.

웹 크롤링과 달리 웹 스크래퍼는 특정 웹 사이트 또는 페이지에서 특정 정보를 검색하며 사전에 웹 크롤링이 이루어져야한다.

🤔더 보기

인터넷에 떠도는 수많은 데이터를 웹 크롤링 or 웹 스크래핑 하는 것이 문제가 되는 경우에는 무엇이 있을까?

해당 내용과 관련하여 읽어보면 좋은 글이 있어 링크를 걸어 놓는다.
합법적으로 '웹 크롤링'하는 방법