Scraping & Crawling?? 뭔데?

0
post-thumbnail

1. Scraping & Crawling

  • Web의 데이터를 수집할때 scraping과 crawling 기술을 많이 사용 한다.

1-1. Scraping

  • 기본적으로 자동화된 방식으로 웹사이트에서 데이터를 추출하는 방식이다.
  • scraping은 복사하여 붙여넣기를 하는게 아니라 정확하고 정확한 방식으로 데이터를 가져 온다. 그리고 웹에 국한되지 않는다.
  • 예를 들자면, 기타 전자 상거래 사이트에서 다양하고, 특정 제품의 가격을 추출할 수 있다. 또한, 주식 시장 데이터, 부동산 목록 등에도 사용할 수 있다.

1-2. Crawling

  • 이 용어는 거미가 기어가는 방식에서 유래됐다고 한다. 그래서 크롤링을 스파이더라고도 한다.
  • 크롤링은 웹페이지를 구석구석 살펴보며 더 깊이 있는 정보들을 찾아 검색한다. 다른 말로, 정보 추출을 위해 심층 검색을 수행한다.
  • 예를 들자면, Google, Yahoo 및 Bing과 같은 유명한 검색 엔진은 웹 크롤링을 수행하고 이 정보를 사용하여 웹페이지를 인덱싱한다.

2. 차이점

  • 차이점에 대해서는 하나의 표를 퍼왔다.

마무리

=> 이번주 수업에서도 나는 Scraping과 crawling에 대해서 배우고, 실습도 해보았다. 솔직하게 직접 해본 결과, 둘의 차이를 잘 느끼지 못하였다..... 하지만, 정의상으로는 차이점도 있고 쓰이는 곳도 다르니까 좀 더 삽질을 해보고 의미를 알아가야 할 것 같다.

profile
끝날때 까지 끝난게 아니야. 결국 내가 이겨!

0개의 댓글