프로젝트에서 Scraper API를 사용해 웹 스크래핑(Web Scraping)과 웹 크롤링(Web Crawling)을 하고 있다.
웹 스크래핑과 웹 크롤링은 비슷한 작업을 수행하지만, 목적과 방식에서 약간의 차이가 있다.
웹 스크래핑(Web Scraping)
웹 스크래핑은 특정 웹사이트에서 원하는 데이터를 추출하는 과정을 말한다. 이는 일반적으로 명확한 목적을 가지고 특정 웹사이트를 대상으로 이루어진다. 예를 들어, 온라인 쇼핑몰에서 상품 정보나 가격, 리뷰 등을 추출하는 것이 웹 스크래핑에 해당한다.
웹 크롤링(Web Crawling)
웹 크롤링은 인터넷에 있는 웹사이트를 시스템적으로 탐색하면서 데이터를 수집하는 과정을 말한다. 웹 크롤링은 보통 검색 엔진이 웹의 콘텐츠를 인덱싱하기 위해 사용한다. 웹 크롤러(또는 스파이더)는 링크를 따라 다니면서 웹 페이지의 정보를 수집하고, 그 정보를 검색 엔진의 데이터베이스에 저장한다.
즉, 웹 스크래핑은 보다 목적지향적이고 특정한 데이터를 추출하는데 주로 사용되며,
웹 크롤링은 더 넓은 범위의 데이터를 시스템적으로 수집하는데 사용된다.
이 두 가지 방법은 종종 함께 사용되기도 하며, 상황에 따라 적절한 방법을 선택할 수 있다.
Scraper API 키 발급
https://www.scraperapi.com/
위 사이트에 접속 후 회원가입 후 로그인을 진행하고 버튼 몇 번이면 어렵지 않게 api키를 발급 받을 수 있다.
free plan(1,000 API 크레딧)이라고 소개받아서 지금 기존에 사용중인 크레딧을 소진하면 key값을 교체하려고 나도 가입을 해서 api를 발급 받은 것이었는데 가입하자마자 free trial이 진행이 되었으니 주의해야 한다.
내용을 공유하고 급하게 프로젝트에서 내가 발급 받은 key값으로 교체했다.
7일간의 free trial이 끝나면 free plan으로 바뀐다.
