# selenium

22개의 포스트

for loop 돌릴 때, soup(x), selenium(o)

https://teamlab.github.io/jekyllDecent/blog/crawling%20with%20python/Selenium%EC%9C%BC%EB%A1%9C-%EB%84%A4%EC%9D%B4%EB%B2%84-%EC%97%B0%EA%B7%B9-%E

3일 전
·
0개의 댓글

beautiful soup 2016년부터 명령어 좀 바뀜.

https://www.crummy.com/software/BeautifulSoup/bs4/doc/#method-names

4일 전
·
0개의 댓글

selenium에서 정규표현식 예제

https://systemtrade.tistory.com/345

4일 전
·
0개의 댓글

selenium에서 활성탭 변경하기

https://devyurim.github.io/python/crawler/2018/08/13/crawler-3.html

4일 전
·
0개의 댓글

a['href']가 js일때

https://stackoverflow.com/questions/7755088/what-does-href-expression-a-href-javascript-a-do

4일 전
·
0개의 댓글

selenium에서 for loop 쓰는 법

https://stackoverflow.com/questions/45323400/how-to-write-a-selenium-loop-in-python

4일 전
·
0개의 댓글
post-thumbnail

"ART_Cinema Project" ③200314_TIL

독립영화 DB 크롤링을 위해서, 활용했었던 '영화진흥위원회' 크롤링하면서 막혔던 부분 해결하기http://www.kobis.or.kr/kobis/business/mast/mvie/findDiverMovList.do// 영화진흥위원회\_독립영화 기존에 하던 도중

2020년 3월 14일
·
0개의 댓글
post-thumbnail

"ART_Cinema Project" ②200313_TIL

어제부터 진행하던, Naver 영화 랭크 1-50위 크롤링하기https://movie.naver.com/movie/sdb/rank/rmovie.nhn?sel=pnt&date=20200213&tg=0// 네이버 영화 랭크네이버 영화 1-50 위 크롤링 성공=>

2020년 3월 13일
·
0개의 댓글
post-thumbnail

"ART_Cinema Project" ①200312_TIL

지난 번 회의 때, 이야기했던 역할분담으로 "DB"에 더 많은 정보들을 저장하기 위해서 '크롤링 기능'을 주로 담당하게 되었다.지훈 : 데이터 어디서 가져올지 크롤링할 곳 / 오픈 api 사용하는 방법 / 추천해주는 영화 볼 수 있는 링크를 어디서 가져올지기존에 sel

2020년 3월 13일
·
2개의 댓글

Selenium을 이용한 웹스크래핑

현재 마이크로소프트가 운영하는 음악사이트 Tidal을 클론하는 프로젝트를 진행하고 있다.데이터를 수집하기 위해 리액트로 Tidal 웹사이트에서 앨범, 트랙, 아티스트, 이미지 등의 정보를 크롤링 해와야 하는 미션이 주어져, 처음으로 Selinium을 사용하게 되었다.p

2020년 3월 9일
·
0개의 댓글
post-thumbnail

스파르타 코딩 클럽 개발일지 - ⑩ 200227_TIL

영화진흥위원회 예술영화 크롤링 완성 (DB = 422set) 나의 Github 계정https://github.com/JiHoon-JK/ART_Cinema/blob/master/%EC%98%81%ED%99%94%EC%A7%84%ED%9D%A5%EC%9C%84%E

2020년 2월 27일
·
0개의 댓글
post-thumbnail

selenium 크롤링 - 무한 스크롤, 클릭

저는 현재 위코드에서 스타일쉐어 웹 클론 프로젝트에서 백엔드를 맡아 진행하고 있습니다. 진행 중 스타일쉐어의 브랜드 리스트 페이지를 크롤링해야했는데요, 이전에 했던 Django http & 크롤링 기초 _ 네이버 블로그 리스트 긁어오기와 다르게selenium을 이용해 진행해야했습니다. 크롤링을 진행한 페이지는 아래의 스타일쉐어 브랜드 리스트 입니다. 브랜...

2020년 2월 26일
·
0개의 댓글

Selenium 으로 웹크롤링하기

가급적이면 requests와 Beautiful Soup으로 크롤링하고 싶었지만, 이 둘 만으로는 절대 안 긁어와지는 것들이 간혹 있다. 그럴 땐, selenium을 시도해볼 만하다.코드를 작성하기에 앞서 가상환경을 활성화 해준 뒤, selenium을 설치한다.pip i

2020년 2월 23일
·
1개의 댓글
post-thumbnail

Python - Selenium으로 크롤링하기

웬만하면 BeautifulSoup을 이용해 크롤링 할 수 있으면 좋지만 안되는 경우도 가끔 있습니다. 기생충 리뷰에 이어 오스카 홈페이지에서 수상자 명단을 크롤링 해보려 했지만 html에 텍스트 자체가 나오지 않아 브라우져 자동화 툴인 셀레니움을 이용해 봤습니다. &

2020년 2월 14일
·
0개의 댓글
post-thumbnail

puppeteer 사용해보기

puppeteer(퍼펫티어) 설치방법 공유합니다. > 기본 예제인 example.js 를 실행해봅니다. (네이버에 접속한 후 스크린샷 남기기) > 온라인에서 라이브로 코딩하여 실행해볼 수 있습니다. https://try-puppeteer.appspot.com/ 테스트환경 Ubuntu 18.04 설치 👉 puppeteer 설치하기 실행 코드 생성 ...

2020년 2월 5일
·
0개의 댓글

Python Selenium Explicit Waits 사용하기

사용하는 이유 AJAX를 사용해 동적으로 변화하는 html페이지의 경우 web element가 DOM로 나타나기까진 시간이 걸릴때가 있다 그 사이에 Selenium이 해당 element를 참조하려고 하면 ElementNotVisibleException 나 NoSuchElementException 에러가 발생할 때가 있다. 이를 방지하기 위해 Seleniu...

2020년 2월 2일
·
0개의 댓글

Selenium - 자주 겪는 이슈들

스크립트 작성하기에서는 이번편에서는 Selenium을 사용하다 보면 자주 겪는 이슈상황에 대해서 설명한다 iframe이슈 앞서 소개한 XPath 문법으로 대부분의 element를 selenium을 통해서 조작할 수 있지만, iframe내부의 element는 selenium 에서 바로 조작 할 수 없다. 예시) iframe예시 사이트 : https://...

2020년 1월 11일
·
0개의 댓글

Selenium - 스크립트 작성해보기

스크립트 작성하기에서는 이번편에서는 Selenium에서 내가 원하는 Browser객체를 찾고, 값을 조작하는 기본원리를 설명한다. 전편에 이어서... 전편의 browser를 열기 이후부터 시작! 이번편에서는 driver객체에 있는 다양한 function을 소개한다. 특정 사이트로 이동하기(driver.get(site)) 구글 페이지 열기, driver....

2020년 1월 11일
·
0개의 댓글

Selenium - 설치 및 실행

Selenium이란? WebBrowser(Chrome, Firefox, IE, Safari 등등)를 조작해주는 Framework로, 작동원리는 조작을 원하는 Browser가 설치된 PC에 Browser를 조작해줄 수 있는 webdriver(조작을 원하는 browser별로 실제 파일이 다름)를 다운받은 후 해당 webdriver가 실행되면 서버처럼 구동된다....

2020년 1월 11일
·
0개의 댓글

테스트 자동화 tool 정리 : GUI

내가 사용해본 자동화 툴 정리 GUI 테스트 자동화 tool? 화면위에 그려지는 Object를 인식해서 동작을 수행하고 검증해주는 Tool들 GUI 자동화 Tool종류 Selenium Web자동화를 할때 한번쯤은 들어본 가장 유명한 Web자동화 Lib

2020년 1월 10일
·
0개의 댓글