Web Crawing

• 웹 페이지에서 데이터를 수집하는 방법에 대해서 학습합니다.

웹 크롤링 방법

웹크롤링 방법

웹페이지의 종류

• 정적인 페이지 : 웹 브라우져에 화면이 한번 뜨면 이벤트에 의한 화면의 변경이 없는 페이지
• 동적인 페이지 : 웹 브라우져에 화면이 뜨고 이벤트가 발생하면 서버에서 데이터를 가져와 화면을 변경하는 페이지

requests 이용

• 받아오는 문자열에 따라 두가지 방법으로 구분
  • json 문자열로 받아서 파싱하는 방법 : 주로 동적 페이지 크롤링할때 사용
  • html 문자열로 받아서 파싱하는 방법 : 주로 정적 페이지 크롤링할때 사용
    

selenium 이용

• 브라우져를 직접 열어서 데이터를 받는 방법

크롤링 방법에 따른 속도

• requests json > requests html > selenium