Scraping & Crawling

Scraping

스크래핑(Scraping)이란 외부 페이지의 정보를 얻기 위해 해당 페이지안에 들어가 데이터를 추출해 오는 것을 의미한다.

위는 카카오톡에서 네이버 링크를 올렸을때에 모습이다.
이와 같이 썸네일 이미지, 제목, 한줄 설명, 주소와 같은 정보들을 가져오기 위해서 스크래핑을 하는 것이다.

위 코드는 네이버에 들어가 개발자 도구를 확인한 모습이다.
메타 태그안에 프로퍼티로 og가 들어간 정보들을 스크래핑 해와 카카오톡에서 썸네일을 만들어 사용하는 것이다.
og는 opengraph의 약자로 정보를 보다 쉽게 스크래핑을 할 수 있게 붙여준 이름이다.
이는 관례에 불과하지만 따라주는 것이 유리하다.

Crawling

크롤링(Crawling)은 스크래핑을 정기적인 시간에 반복하는 것을 의미한다.
정보를 알아서 자동으로 스크래핑 해오는 애들을 크롤러하고 이를 통틀어 크롤링이라고 부르는 것이다.