# bs4
셀레니움을 이용해서 영화 정보 보기
어제에 bs4에 한계를 느끼고 오늘은 셀레니움을 사용법을 알아보려고한다.셀레니움은 브라우저를 직접 조종해 페이지를 동적으로 크롤링하는 라이브러리이다.이를 이용하여 왓챠피디아에서 내가 원하는 영화의 정보를 검색할거다.아래와 같이 왓챠피디아는 스크래핑을 허용해놨다.여기서
웹 스크래핑 bs4
웹 스크래핑? 웹 크롤링? 웹 스크래핑은 우리가 정한 특정 웹 페이지에서 데이터를 추출하는 것이다. 어떤 사이트에서 특정 주제나 이미지사진, 내용만 가져오는 것 그것들을 스크래핑이라고 한다. 그렇다면 많이 들어본 크롤링은 뭘까? 크롤링은 인터넷을 돌아다니면서 여러 웹
[Python] 셀레니움 사용 시 매우 유용한 webdriver_manager
개인적으로 작은 프로젝트들을 진행했던 일들이 있어서 크롤러 소스를 많이 만들고 업무를 자동화하거나 DB를 자동으로 쌓거나 하는 등의 작업들을 할 때 크롤링 소스들을 많이 만들었다.이전까지는 bs4로 작업을 하기 힘들어 보일 때 모두 셀레니움을 이용했는데 셀레니움을 이용
python flask 코드 뜯어보기
웹페이지에서 데이터 크롤링을 해주기 위해 필요한 페키지를 import해준다.크롤링 또는 작성한 데이터를 DB에 저장할때 사용하는 import코드로컬 환경에 있는 mongoDB에 연결해 주기 위한 코드클라우드 환경에 있는 mongoDB에 연결해 주기 위한 코드나는 클라우
2. BeautifulSoup
1. BeautifulSoup 웹에서 가져온 데이터에서 원하는 특정 태그나 태그 안의 내용 등을 쉽게 파싱할 수 있도록 도와주는 라이브러리 bs를 사용하면서 중요한 것은 내가 원하는 특정 태그를 찾아서 그 값을 가져오는 것 > HTML을 잘 알아야 함 본 크롤링은 Python을 기반으로 함 1) 설치 2) 기본 사용법 > html의 전체 코드를 가져온...
크롤링 특징
requests , beautifulsoup = html 내부 데이터만 크롤링장점 ] 굉장히 빠른 속도 단점 ] 외부 데이터 수집이 불가 selenium, beautifulsoup = html 내부 외부 모두 크롤링장점] 모든데이터를 가져옴단점 ] 상대적으로 느림 ,
[컨닝군단장] 이벤트 페이지 크롤링
이벤트 페이지가 2페이지로 되어있어서 일단은 2페이지의 이벤트 정보를 긁어오기위해for문으로 두페이지의 정보를 모두 가져왔다현재 결과값아주 정상적으로 잘 출력
웹개발종합반_복습_개발일지_3주차
파이썬 기초 문법을 안다. 원하는 페이지를 크롤링 할 수 있다. pymongo를 통해 mongoDB를 제어할 수 있다.
02 TIL(?)
오늘 하루도 역시나 짧다.. 하고싶은건 많고 시간은 제한되고~오늘은 어제 듣던 웹기초 강의를 이어서 들었다.jQuery, Ajax 그리고 파이썬 웹크롤링 bs4, mongoDB까지 찍먹 수준으로 배웠다.jQuery는 어제 JavaScript를 하면서 간단하게 슬쩍 봤었
파이썬 웹 크롤링 라이브러리 (BeautifulSoup) find_all() 사용시 주의점
영화 추천 시스템을 개발하는데 파이썬 웹 크롤링 라이브러리로 bs4에 내장된 BeautifulSoup()를 사용하다가 알게 된 find_all() 사용시 주의 점 !!
로그인이 필요한 사이트의 크롤러 만들기(Feat. cookie, session, excel)
로그인이 필요한 정적인 페이지의 url을 입력하여 필요한 값들을 엑셀에 입력하는 크롤러 만들기 🤸♀️
