[Python] 크롤링이란?

크롤링(crawling)

크롤링은 데이터를 수집하고 분류하는 것을 의미한다. 주로 인터넷상의 웹페이지를 수집해서 분류하고 저장하는것을 뜻하며 데이터가 어디에 저장되어 있는지 위치에 대한 분류 작업이 크롤링의주요 목적이다.

크롤링의 종류

정적 크롤링

일반 html의 페이지 한번의 html페이지를 로드 하는것으로 페이지가 완성되는 경우, 즉 한 페이지 안에서 변화없이 정보를 크롤링하는 것! , 정적 웹페이지를 크롤링할때 쓰인다.
요세는 거의 모든 페이지들이 동적 웹페이지로 만들어지기 때문에 많이 사용되지 않는 것 같다.
사용 라이브러리
request, beautifulSoup4

동적 크롤링

웹페이지가 전체가 변경되는 것이 아니라 이벤트가 발생하면 변경되거나 하는 페이지, 한번에 모든정보가 나오지 않고 , 이벤트나 여러가지 요소들로 인해 데이터가 변경되기 때문에 정적크롤링 보다 어려움이 있다.
사용 라이브러리
Selenium