정적 vs 동적 크롤링
• 화면에 렌더링된 일부 태그의 콘텐츠를 페이지의 소스에서 찾아볼 수 없음
• < div > 태그나< span > 태그처럼 소스코드에서 그내용을 찾아볼 수 없음
Selenium 개발환경 구축
WebDriver API 필요함
- 간결한 프로그래밍 인터페이스를 제공 하도록 설계
- 동적 웹 페이지를 보다 잘 지원할 수 있도록 개발
Selenium 설치
크롬드라이버(Chrome Driver) 설치
-
도움말-크롬정보 확인 후 버전에 맞게 설치해야함(앞에 109 108 110 이런거 맞추면됨)
-
윈도우 32나 64나 저 파일로 동일하게 씀
압축 풀어서 해당 파일 파이썬 작업 폴더에 넣기
Selenium을 사용한 크롬 브라우저 제어 예제
네이버로 찾기
메서드를 사용한 웹 페이지 파싱
- 하나 찾을때는 element 리스트로 여러개 찾을때는 elements
스타벅스 페이지(동적)
현재 보여지는 3개 리스트만 출력(나머지는 스크롤 내리는 동작 추가해야함)
매장 리스트 가져오기
스크롤 동작해서 모든 매장 리스트 출력하기
yes24 도서 페이지 이동하면서 데이터 출력하기 예제
동적으로 클릭 또는 펼칠것들
chacha's 프로그래밍 공부