웹 브라우저 자동화 - Selenium

---

브라우저 자동화 하기

selenium은 Python을 이용해서 웹 브라우저를 조작할 수 있는 자동화 프레임워크입니다.

Web Driver
웹 브라우저와 연동을 위해서는 WebDriver가 필요합니다.
WebDriver는 웹 브라우저를 제어할 수 있는 자동화 프레임워크입니다.

셀레니움 시작

#모듈을 불러온다.
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

그 다음 불러온 모듈 webdriver에서 Chrome() 객체를 생성합니다.

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
driver.get("URL주소") #원하는 URL주소를 불러옵니다.

이렇게 하면 크롬 창이 계속 켜져있게 되는데 with-as구문으로 명령이 끝나면 driver을 종료하도록 명령할 수 있습니다.

with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver:
    driver.get("http://www.example.com")
    print(driver.page_source())\

• Driver에서 특정 요소 추출하기
  selenium은 받아온 응답으로부터 특정 요소를 추출할 수도 있습니다.
  이미 브라우저를 활용하기 때문이죠!

응답을 가지고 있는 driver/요소에 대해서 다음과 같은 메서드를 적용할 수 있습니다.

요소 하나 찾기

.find_element(by, target)
by : 대상을 찾는 기준 : ID, TAG_NAME, CLASS_NAME, ...
target : 대상의 속성
요소 여러개 찾기

.find_elements(by, target)
by : 대상을 찾는 기준 : ID, TAG_NAME, CLASS_NAME, ...
target : 대상의 속성

with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver:
    driver.get("http://www.example.com")
    print(driver.find_elements(By.TAG_NAME, "p").text)

Wait and Call

---

Implicit / Explicit Wait

Selenium은 동적 웹 사이트에 대한 지원을 진행하기 위해 명시적 기다림(Explicit Wait) 과 암묵적 기다림(Implicit Wait) 을 지원합니다.

Explicit Wait: 다 로딩이 될 때까지 지정한 시간 동안 기다림 (e.g. 다 로딩이 될 때까지 5초동안 기다려!)
Implicit Wait: 특정 요소에 대한 제약을 통한 기다림 (e.g. 이 태그를 가져올 수 있을 때까지 기다려!)

💡XPath?

• XPath는 XML, HTML 문서 등의 요소의 위치를 경로로 표현하는 것을 의미합니다.

with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver:
    driver.get("https://indistreet.com/live?sortOption=startDate%3AASC")
    driver.implicitly_wait(10)
    print(driver.find_element(By.XPATH,'//*[@id="__next"]/div/main/div[2]/div/div[4]/div[1]/div[3]/div/a/div[2]/p[1]').text)

find_element를 이용하여 가져오려는 데이터의 XPATH를 인자로 넣으면 추출할 수 있습니다.
여기서 가져오려는 웹 페이지가 동적 페이지이기 때문에 10초동안 Implicit Wait을 진행하도록 해서 스크래핑이 잘 이루어지도록 해줍니다.

from selenium.webdriver.support import expected_conditions as EC

with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver:
    driver.get("https://indistreet.com/live?sortOption=startDate%3AASC")
    element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//*[@id="__next"]/div/main/div[2]/div/div[4]/div[1]/div[3]/div/a/div[2]/p[1]')))
    print(element.text)

마찬가지로 EC.presence_of_element_located()를 활용하여 동적 웹페이지 스크래핑이 이루어 지도록 합니다.

마우스 이벤트 처리하기

---

💡Selenium을 이용해서 마우스 Event를 동작할 수 있습니다.

Mouse Event

웹 페이지에서 일어나는 일들을 Event라고 합니다.

마우스로 일어날 수 있는 대표적인 이벤트는 다음과 같습니다.

마우스 움직이기(move)
마우스 누르기(press down)
마우스 떼기(press up)
...
저희는 버튼을 찾은 후 이를 클릭하는 것을 목표로 합니다.
마우스 입력은 크게 다음과 같은 과정을 거칩니다.

입력하고자 하는 대상 요소를 찾습니다. (find_element() 이용)
입력하고자 하는 내용을 click을 통해 전달합니다.
.perform()을 통해 동작합니다.

button = driver.find_element(By.XPATH, '//*[@id="main-app-gnb-header"]/div/div/div[1]/div/div[2]/div/div/div[1]/span[1]/a[1]')
ActionChains(driver).click(button).perform

driver객체를 생성하고 데이터를 가져와 마우스를 클릭하게 합니다.

키보드 이벤트 처리하기

---

💡Selenium을 이용해서 키보드 Event를 동작할 수 있습니다.

Keyboard Event

웹 페이지에서 일어나는 일들을 Event라고 합니다.

키보드로 일어날 수 있는 대표적인 이벤트는 다음과 같습니다.

키보드 누르기(press down)
키보드 떼기(press up)
...
저희는 입력창(input 태그의 form)에 키보드 입력을 진행하는 것을 목표로 합니다.
키보드 입력은 크게 다음과 같은 과정을 거칩니다.

입력하고자 하는 대상 요소를 찾습니다. (find_element() 이용)
입력하고자 하는 내용을 send_keys_to_element를 통해 전달합니다.
.perform()을 통해 동작합니다.

아래 예시는 id가 textInput인 요소에 "abc"를 입력하는 예제입니다.

text_input = driver.find_element(By.ID, "textInput")
ActionChains(driver).send_keys_to_element(text_input, "abc").perform()

---

💡selenium을 이용하여 동적인 웹페이지를 스크래핑하는 방법을 배웠다.