Scraping & Crawling

Scraping

어떤 특정한 웹사이트에 가서 그 사이트의 html을 긁어오는 것

유저가 게시글을 작성해서 등록할 때, 백엔드 API로 글의 내용을 보내주게 된다.

이 때, 글의 내용에 http가 포함된 url이 있다면, 그 사이트에 접속해서 open graph가 있는 내용을 긁어와서 저장한다.

Crawling

웹페이지에 있는 데이터를 단순하게 긁어 온다.

데이터의 양은 Crawling이 더 많다.

차이점

둘의 차이점은 웹 크롤링 프로세스는 일반적으로 일반적인 정보를 캡처하는 반면 웹 스크래핑은 특정 데이터 셋트 스니펫에 초점을 맞춘다.

웹 크롤링은 웹 페이지의 링크를 타고 계속해서 탐색을 이어나가지만, 웹 스크래핑은 데이터 추출을 원하는 대상이 명확하여 특정 웹 사이트만을 추적한다는 차이점이 있다.