Scraping
스크래핑은 말 그대로 스크랩 한다는 뜻이다
어떤 특정한 웹 사이트에 가서 그 사이트의 HTML 정보를 긁어오는 것을 말한다
긁어온 정보를 DB에 저장해 놓는다면 활용하기 편리하다!
슬랙이나 카톡을 사용할 때, 링크를 공유하면 밑에 자동으로 사이트의 소개와 이미지가 나옵니다!
프론트엔드나 백엔드에서 직접 사이트에 가서 정보를 가져오는 것입니다.
Crawling
크롤링이란 단어는 웹 크롤러(crawler)라는 단어에서 시작한 말.
크롤러 = 조작적, 자동화된 방법으로 월드와이드 웹을 탐색하는 컴퓨터 프로그램
크롤링 = 크롤러가 하는 작업
웹 페이지의 가장 깊은 곳으로 크롤러(또는 봇)를 개발하는 대규모 데이터 세트를 처리하는 것.
웹 크롤러(자동화 봇)가 일정 규칙으로 웹페이지를 브라우징 하는 것
여러 인터넷 사이트의 페이지(문서, html 등)를 수집해서 분류.
Scraping & Crawling
다른사이트의 정보를 한번 가져오기 Scraping
꾸준히 반복적으로 가져오기 Crawling
둘 다 정보를 추출하는 공통점이 있다
차이점으로는
스크래핑은 가져올 정보에 대한 목표 사이트가 존재하며 타겟이 분명하지만
크롤링은 특정 페이지를 목표로하지 않으며 중복제거가 필수적이다
참조
같이 일하고 싶은 사람이 되어보자! 다시 시작하는 개발 블로그.