Scraping & Crawling

정승원·2023년 4월 5일

📒 목차

📌 스크래핑이란?

📌 크롤링이란?

📌 스크래핑과 크롤링의 차이

📌 참조

스크래핑이란 특정 웹 사이트에 가서 해당 웹사이트의 HTML을 긁어오는 것을 의미한다.

이렇듯 스크래핑을 사용하게 되면 해당 웹사이트에 대한 정보를 직접 입력하지 않아도 사이트 정보를 링크만 가져와도 나타낼 수 있다.

위의 사진을 보게되면, 유저가 작성한 내용에 http가 포함된 URL이 있다면, 해당 사이트의 open graph가 있는 부분의 내용을 긁어와 저장하는 것을 확인할 수 있다.

예를들어, 아래의 네이버의 경우를 보게되면 <head> 태그 안에 meta 태그들이 있고, 그 중에서 property가 og로 시작하는 태그들이 보인다.

해당 태그들의 내용을 스크래핑하게 되면 위의 결과와 같이 og 태그의 내용을 스크래핑해올 수 있다.

크롤링은 URL을 반복적으로 탐색하여 링크를 찾고 가져오는 것이다. 웹 페이지를 돌아다니며 정보를 수집한다.

스크래핑과 크롤링은 정보를 추출한다는 점에서 공통점을 갖고 있다. 하지만 정보를 추출하려는 타깃 웹 페이지의 유무와 중복 실행 부분에서 차이가 나타난다.

크롤링의 경우, 타깃 웹페이지가 없다. 일단 탐색을 시작하고 정보를 가져온다. 하지만 스크래핑은 타깃 웹 페이지가 존재한다. 따라서 어떠한 정보를 가져올 지 정하고 정보를 가져온다.

또한, 크롤링에서는 중복제거가 필수이다. 하지만 스크래핑은 중복제거가 필수는 아니다.