07.동적크롤링

jeong_hyeon·2022년 1월 21일
0

웹 크롤링

목록 보기
7/8

동적 크롤링을위해 selenium,BeautifulSoup을 import 시켰고 time의 경우 홈페이지의 로딩시간 서칭시간등을 기다리기 위해 추가 했다. 물론 time 말고 selenium의 Wait으로 해도된다!. 그리고 엑셀로 저장하기위해 pandas 또한 import했다.

url을 받고 driver를 통해 크롬드라이버로 접속하는 부분


find_element_xpath를 통해 ID입력 및 PW입력
-> 로그인버튼 누르기

인스타그램의 경우 url의 뒷부분에 search_tag+want_search(서칭하고싶은내용)을 입력하면 서칭이 되기때문에 url을 변경하는 식으로 코드를 짜보았고
제일 아래 태그는 검색한 결과의 첫번째 게시물을 클릭하기위해 넣어두었다.

메인 코드부분은 이렇게 짜보았으며 동영상이 나오거나 try구문에 포함되지않은경우 pass 하게 만들었고 하나의 게시물에 정보가 수집될경우 append이후 다음으로 가는 버튼을 클릭하고 다시 반복되게 짜보았다.

마지막은 역시 pandas로 excel로 export했다.

결과

0개의 댓글