동적 크롤링을 위해서는 Chromedriver와 selenium이 필요 하다.
1.Chromdriver 란?
일반적인 Chrome과는 다르게 모든 설정이 풀려있는 상태의 크롬 드라이버 라고 생각하면 된다.
크롬 드라이버설치의 경우
https://chromedriver.chromium.org/downloads
사이트를 참조하며 본인이 사용하는 버전의 크롬과 맞게 설치 하면 된다.
버전 확인 방법
크롬 메뉴 -> 도움말 -> 크롬정보 확인
2. selenium
동적 크롤링을 하기위해 필요한 selenium 내장함수를 간단히 살펴보자
driver = webdriver.Chrome('./chromedriver')
- (./chromedriver)의 경우 path 즉 크롬드라이버가 설치된 경로를 의미 함
이렇게 driver를 정의 해줘야한다.
2-1. get()
입력한 url주소로 접속하게 해주는 함수
driver.get("url 주소")
2-2. findelement_by~(PATH)
정적 크롤링의 find함수와 비슷한 역할을 하는 함수로 HTML요소를 찾는 함수
(~ 부분의 경우 종류가 굉장히 많기 때문에 ~로 표시)
-
find_element_by_css_selector
원하는 CSS 선택자 조건을 만족하는 모든 요소중에서 첫 번째 요소를 출력합니다. -
find_elements_by_css_selector
원하는 CSS 선택자 조건을 만족하는 모든 요소중에서 모든 요소를 리스트 형태로 출력합니다. -
find_element_by_id&.find_element_by_class_name
위 두개는 id 속성과 class 속성을 가지고 있는 경우 사용하는 함수입니다.
-
find_element_by_xpath
XPath는 HTML 요소를 찾기 위한 적당한 id 혹은 class 등이 없을 경우 사용합니다. XPath는 다음과 같은 방법으로 찾을 수 있습니다.
2-3.click()
단어 그대로 HTML요소를 클릭하는 함수
2-3. send_keys()
HTML요소에 직접 텍스트를 입력하는 함수
