[IT국비지원] 개발자 교육 : Spring Boot(2023.11.30) External Library, Web Crawling

https://richtexteditor.com/Demos/

Web Crawling 이란?

프로그램이 Web 을 천천히 돌아다니며 (crawling) 자료를 수집해 오는 것
예 1) 각 쇼핑몰의 같은 상품 가격을 가져와 한곳에 모은다.
예 2) 각 사이트의 혜택 정보를 가져와 한곳에 모은다.
예 3) 각 사이트에 저장된 이미지를 가져와 한곳에 모은다.

JSOUP

• 외부 사이트나 파일의 HTML 을 가져와 parsing 해 준다.
• 정적 페이지에 적합하다.
• 속도가 빠르고 css selector 를 차용하여 원하는 요소를 추출하기 좋다.
• 라이브러리 외에 별도의 프로그램이 필요 없다.
• 프로그램 접근을 막아놓은 사이트에서는 데이터를 가져올 수 없다.
• 요소나 속성을 다루는 함수도 jquery 와 거의 비슷해 사용이 편하다.