Scraping & Crawling

스크래핑은 말그대로 스크랩한다는 것인데, 어떤 특정한 웹 사이트에서 그 사이트이 html을 긁어오는 것을 말한다.

스크래핑의 사용 예시

SNS를 할 때, 링크를 공유하면 밑에 자동으로 사이트의 소개와 이미지가 나오는 것을 볼 수 있는데
프론트엔드나 백엔드에서 직접 사이트에서 정보를 가져와 보여주는 것이다.

네이버에 들어가서 개발자 도구를 열어보면,

head 태그 안에 meta 태그들이 있고, 그 중에서 property가 og로 시작하는 태그들이 있다.
og는 어떤 HTML 문서의 메타정보를 쉽게 표시하기 위해서 메타정보에 해당하는 제목, 설명, 문서의 타입, 대표 URL 등 다양한 요소들에 대해서 사람들이 통일해서 쓸 수 있도록 정의해놓은 프로토콜이며, 페이스북에서 시작해서 유명해졌다.

크롤링은 정기적, 주기적으로 스래핑을 하는 것을 말한다.

데이터를 무단으로 크롤링하는 것은 데이터베이스(DB)권에 대한 법적인 문제가 발생할 수 있으므로 주의가 필요하다.