- Web의 데이터를 수집할때 scraping과 crawling 기술을 많이 사용 한다.
- 기본적으로 자동화된 방식으로 웹사이트에서 데이터를 추출하는 방식이다.
- scraping은 복사하여 붙여넣기를 하는게 아니라 정확하고 정확한 방식으로 데이터를 가져 온다. 그리고 웹에 국한되지 않는다.
- 예를 들자면, 기타 전자 상거래 사이트에서 다양하고, 특정 제품의 가격을 추출할 수 있다. 또한, 주식 시장 데이터, 부동산 목록 등에도 사용할 수 있다.
- 이 용어는 거미가 기어가는 방식에서 유래됐다고 한다. 그래서 크롤링을 스파이더라고도 한다.
- 크롤링은 웹페이지를 구석구석 살펴보며 더 깊이 있는 정보들을 찾아 검색한다. 다른 말로, 정보 추출을 위해 심층 검색을 수행한다.
- 예를 들자면, Google, Yahoo 및 Bing과 같은 유명한 검색 엔진은 웹 크롤링을 수행하고 이 정보를 사용하여 웹페이지를 인덱싱한다.
- 차이점에 대해서는 하나의 표를 퍼왔다.