스크랩(Scrap)

‘필요한 자료'만 모아 찾기 쉽게 만들어 놓은 자료를 스크랩이라고 하며 이를 이용하여 프로그램으로 구현해 놓은 것을 스크래핑이라고 한다.

크롤링(Crawling)

원하는 데이터(주식, 뉴스 등등)의 자료를 주기적으로 스크래핑 하는 것을 크롤링이라고 한다.

[판결] '웹사이트 무단 크롤링' 소송... 잡코리아, 사람인에 승소
이러한 스크래핑과 크롤링은 누군가의 자료를 무단으로 가지고 오는 문제가 발생할 수 있다.

이를 예방하기 위해서 페이지의 /robots.txt 파일을 통해 크롤링 허용 여부를 알 수 있다.