| Data Scraping | Data Crawling |
|---|---|
| 웹에서 다양한 소스에서 특정 데이터 추출 | 웹의 모든 소스를 추출 |
| 모든 규모에서 수행 가능 | 대부분 대규모로 수행 |
| 중복 제거가 반드시 필요한 것은 아님 | 중복 제거 과정이 필수적임 |
| 크롤링 Agent 및 Parser가 필요 | 크롤링 Agent만 필요 |
| 프로그램 내에서 원하는 정보를 먼저 Parsing | 일단 데이터를 가져와서 분류기를 따로 만들고 정보를 Parsing |
백엔드 개발자 지망생
| Data Scraping | Data Crawling |
|---|---|
| 웹에서 다양한 소스에서 특정 데이터 추출 | 웹의 모든 소스를 추출 |
| 모든 규모에서 수행 가능 | 대부분 대규모로 수행 |
| 중복 제거가 반드시 필요한 것은 아님 | 중복 제거 과정이 필수적임 |
| 크롤링 Agent 및 Parser가 필요 | 크롤링 Agent만 필요 |
| 프로그램 내에서 원하는 정보를 먼저 Parsing | 일단 데이터를 가져와서 분류기를 따로 만들고 정보를 Parsing |