(Package) Selenium

Selenium

---

• 링크 : The Selenium Browser Automation Project

주요 기능

---

• 웹 브라우저를 원격 조작하는 도구
• 자동으로 URL을 열고 클릭 등이 가능
• 스크롤, 문자의 입력, 화면 캡쳐 등

Beautiful Soup만으로 해결할 수 없는 것

• 접근할 웹 주소를 알 수 없을 때
• 자바스크립트를 사용하는 웹 페이지의 경우
• 웹 브라우저로 접근하지 않으면 안될 때

Install Package

---

• 윈도우, Mac(intel)

conda install selenium

• Mac(m1)

pip install selenium

Selenium 세팅

---

Chrome 버전 확인

---

1. 크롬 오른쪽 상단 [맞춤 설정 및 제어] - [도움말] - [Chrome 정보]

2. Chrome 정보 확인

3. Google에서 Chromedriver 검색

• 링크 : https://chromedriver.chromium.org/downloads
• 크롬 버전 앞 부분 숫자에 맞는 것 중 선택
  • 사용중인 OS 버전에 맞춰 다운로드

## Step 1. Selenium webdriver 사용하기 ---

Module Load 및 크롬드라이버 경로 지정

※ Selenium Update로 인해 webdriver.Chrome() 크롬드라이버 경로지정 필요없음 (설치도 X)

from selenium import webdriver

driver = webdriver.Chrome() # 크롬 드라이버 경로 지정 
driver.get("https://www.naver.com") # get 명령으로 접근하고 싶은 주소 지정

• 리소스 낭비하지 않게 driver.quit() 명령어 사용

driver.quit()

• 새로운 크롬이 나타나면서 지정된 웹 주소에 접근

• 현재 브라우저 창 크기 확인

# 현재 브라우저 창 크기 
driver.get_window_size()

2. 화면 스크롤

---

• 스크롤 가능한 높이(길이) 가져오기

# 스크롤 가능한 높이(길이) # 자바스크립트 코드 실행
last_height = driver.execute_script("return document.body.scrollHeight")
last_height

• 화면 스크롤 : 하단 이동

# 화면 스크롤 
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

• 화면 스크린샷

# 스크린샷
driver.save_screenshot("./last_height.png")

• 화면 스크롤 : 상단 이동

# 스크롤 상단 이동 
driver.execute_script("window.scrollTo(0, 0);")

Selenium 태그 명령어

find_element_by_css_selector => find, select_one

find_elements_by_css_selector => find_all, select

• 특정 태그 지점까지 스크롤 이동

# 특정 태그 지점까지 스크롤 하는 코드 

from selenium.webdriver import ActionChains

# some_tag = driver.find_element_by_xpath('//*[@id="paging"]/ul')
some_tag = driver.find_element_by_css_selector("#paging > ul") 
action = ActionChains(driver)
action.move_to_element(some_tag).perform()

Step 3. 검색어 입력

---

• 입력 창에 글자 넣기
  ※ 현재 화면에 보이지 않으면 입력 X
  

# 입력 창에 글자 넣기 
# 화면에 보이지 않으면 입력할 수 없습니다

some_tag = driver.find_element_by_id("gsc-i-id1")
some_tag.send_keys("data science")

• 브라우저 창 크기 조절
  ※ 현재 보이는 화면에서만 가능

# 브라우저 창 크기 조절 
# 현재 보이는 화면에서만 액션을 취할 수 있습니다
driver.set_window_size(1920, 1080)

• 화면 최대화

# 화면 최대화 
driver.maximize_window()

• 화면 최소화

# 화면 최소화 
driver.minimize_window()

• 새로 입력 시, 뒤에 추가로 입력

# 새로 입력하면 뒤에 추가로 붙음 
some_tag.send_keys("python")

• 초기화 후 검색어 입력

# 초기화 후 검색어 입력

some_tag.clear() # 초기화
some_tag.send_keys("python")

Xpath

---

Xpath 태그 찾는 방법

• //: 최상위
• *: 자손 태그 검색 => div form
• /: 자식 태그 검색 => div > form
• 'td[2]': td 중에서 2번째 태그

• Xpath 이용
  ※ BeautifulSoup에서는 Xpath 사용 불가능, Selenium에서는 사용 가능
  

# xpath 
xpath = '//*[@id="___gcse_0"]/div/form/table/tbody/tr/td[2]/button'
some_tag = driver.find_element_by_xpath(xpath).click()

• css_selector 이용

# css_selector 
css_selector = "#___gcse_0 > div > form > table > tbody > tr > td:nth-child(2) > button"
some_tag = driver.find_element_by_css_selector(css_selector).click()

• 현재 화면의 html 코드 가져오기

# 현재 화면의 html 코드 가져오기 
driver.page_source