웹 크롤러
조직적, 자동화된 방법으로 웹을 탐색 및 수집하는 프로그램입니다. 크롤러는 여러 사이트를 돌아다니면서 필요한 데이터를 가지고 옵니다.
스크래퍼
웹사이트 상에서 원하는 정보를 추출하는 기술입니다. 스크래핑을 수행하기 위해서는 먼저 필요한 정보를 찾기 위해 크롤링 작업을 수행해야 합니다.
차이점
- 웹의 다양한 소스에서 특정 데이터를 추출하는게 스크래핑이고 웹페이지에 있는 데이터를 단순하게 긁어 와서 분류기를 통해 유효데이터를 분류하는 것은 크롤링입니다.
- 지속적으로 혼자 동작할 수 있으면 크롤링, 멈추면 스크래핑입니다.
주니어 개발자가 되어보자