-
웹 데이터(수집) 분석 시, Beautiful Soup만으로 해결할 수 없는 경우
1. 접근할 웹 주소를 알 수 없을 때
2. 자바스크립트를 사용하는 웹페이지의 경우
3. 웹 브라우저로 접근하지 않으면 안될 때(클릭, 혹은 로그인이 필수일 때) -
Selenium으로 해결해보자 : python 모듈 & 크롬 드라이버를 설치해야 함
- 웹 브라우저를 원격 조작하는 도구
- 자동으로 URL을 열고 클릭 등이 가능
- 스크롤, 문자입력, 화면 캡처 등등
[관련 문서]
- https://www.selenium.dev/documentation/
- https://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains
1. webdriver 사용하기
< 웹 드라이버 연결 및 기본 조작 >
2. 화면 스크롤
< 스크롤 기본 조작 >
3. click 위치 지정
4. 검색어 입력(CSS_SELECTOR)
[참고] XPATH
1. CSS_SELECTOR와 유사한 기능
2. bs4에서 사용 불가(selenium에서만 가능)
5. selenium & beautiful soup
- selenium으로 원하는 웹페이지까지 이동, 검색어 입력 등 진행 후
- beautiful soup을 이용해서 데이터 수집
