❓둘 차이는 뭘까?❓
웹 스크래핑
- 웹 페이지들로부터 우리가 원하는 정보를 추출
- 특정한 목적으로 특정 웹 페이지에서 데이터를 추출하는 것 (데이터 추출)
ex) 날씨 데이터 가져오기, 주식 데이터 가져오기
웹 크롤링
- 크롤러를 이용해서 웹 페이지의 정보를 인덱싱
- URL을 타고다니며 반복적으로 데이터를 가져오는 과정 (데이터 색인)
ex) 검색 엔진의 웹 크롤러
웹 브라우징 (웹사이트를 타고타고 돌아다니는 것)은 사람이 아닌, 로봇이 진행할 수 있다.
robots.txt
user-agent : 요청을 보낸 사람
disallow : 접근 거부
allow : 접근 허용
statistics & computer science