# bs4

36개의 포스트
post-thumbnail

셀레니움을 이용해서 영화 정보 보기

어제에 bs4에 한계를 느끼고 오늘은 셀레니움을 사용법을 알아보려고한다.셀레니움은 브라우저를 직접 조종해 페이지를 동적으로 크롤링하는 라이브러리이다.이를 이용하여 왓챠피디아에서 내가 원하는 영화의 정보를 검색할거다.아래와 같이 왓챠피디아는 스크래핑을 허용해놨다.여기서

6일 전
·
0개의 댓글
·

웹 스크래핑 bs4

웹 스크래핑? 웹 크롤링? 웹 스크래핑은 우리가 정한 특정 웹 페이지에서 데이터를 추출하는 것이다. 어떤 사이트에서 특정 주제나 이미지사진, 내용만 가져오는 것 그것들을 스크래핑이라고 한다. 그렇다면 많이 들어본 크롤링은 뭘까? 크롤링은 인터넷을 돌아다니면서 여러 웹

2022년 8월 12일
·
0개의 댓글
·

[Python] 크롤링 이슈 해결

SW Maestro 프로젝트의 일환으로 여

2022년 7월 14일
·
0개의 댓글
·

항해99 8기 -2주차 3

Beautiful soup을 이용한 크롤링으로 US top100 노래/가수를 뽑아냈다!

2022년 6월 29일
·
0개의 댓글
·
post-thumbnail

[Python] 셀레니움 사용 시 매우 유용한 webdriver_manager

개인적으로 작은 프로젝트들을 진행했던 일들이 있어서 크롤러 소스를 많이 만들고 업무를 자동화하거나 DB를 자동으로 쌓거나 하는 등의 작업들을 할 때 크롤링 소스들을 많이 만들었다.이전까지는 bs4로 작업을 하기 힘들어 보일 때 모두 셀레니움을 이용했는데 셀레니움을 이용

2022년 6월 8일
·
0개의 댓글
·

python flask 코드 뜯어보기

웹페이지에서 데이터 크롤링을 해주기 위해 필요한 페키지를 import해준다.크롤링 또는 작성한 데이터를 DB에 저장할때 사용하는 import코드로컬 환경에 있는 mongoDB에 연결해 주기 위한 코드클라우드 환경에 있는 mongoDB에 연결해 주기 위한 코드나는 클라우

2022년 5월 9일
·
0개의 댓글
·

2. BeautifulSoup

1. BeautifulSoup 웹에서 가져온 데이터에서 원하는 특정 태그나 태그 안의 내용 등을 쉽게 파싱할 수 있도록 도와주는 라이브러리 bs를 사용하면서 중요한 것은 내가 원하는 특정 태그를 찾아서 그 값을 가져오는 것 > HTML을 잘 알아야 함 본 크롤링은 Python을 기반으로 함 1) 설치 2) 기본 사용법 > html의 전체 코드를 가져온...

2022년 3월 19일
·
0개의 댓글
·

지니뮤직 1~50 순위 크롤링 하기

python 크롤링, requests, BeautifulSoup 4

2022년 2월 25일
·
1개의 댓글
·

알바천국 스크래퍼

필요모듈 import 데이터 저장하는 함수 정의

2022년 2월 24일
·
0개의 댓글
·
post-thumbnail

[웹개발]-Python MongoDB Robo3T

풀스택 웹개발 세 번째 개발일지

2022년 2월 19일
·
0개의 댓글
·

크롤링 특징

requests , beautifulsoup = html 내부 데이터만 크롤링장점 ] 굉장히 빠른 속도 단점 ] 외부 데이터 수집이 불가 selenium, beautifulsoup = html 내부 외부 모두 크롤링장점] 모든데이터를 가져옴단점 ] 상대적으로 느림 ,

2022년 2월 13일
·
0개의 댓글
·

[컨닝군단장] 이벤트 페이지 크롤링

이벤트 페이지가 2페이지로 되어있어서 일단은 2페이지의 이벤트 정보를 긁어오기위해for문으로 두페이지의 정보를 모두 가져왔다현재 결과값아주 정상적으로 잘 출력

2022년 1월 22일
·
0개의 댓글
·
post-thumbnail

Flask web dev

pre-install and setup: python3 and venvpre-setup cloud mongodb

2022년 1월 8일
·
0개의 댓글
·
post-thumbnail

웹개발종합반_복습_개발일지_3주차

파이썬 기초 문법을 안다. 원하는 페이지를 크롤링 할 수 있다. pymongo를 통해 mongoDB를 제어할 수 있다.

2021년 12월 17일
·
0개의 댓글
·

02 TIL(?)

오늘 하루도 역시나 짧다.. 하고싶은건 많고 시간은 제한되고~오늘은 어제 듣던 웹기초 강의를 이어서 들었다.jQuery, Ajax 그리고 파이썬 웹크롤링 bs4, mongoDB까지 찍먹 수준으로 배웠다.jQuery는 어제 JavaScript를 하면서 간단하게 슬쩍 봤었

2021년 12월 14일
·
0개의 댓글
·
post-thumbnail

파이썬 웹 크롤링 라이브러리 (BeautifulSoup) find_all() 사용시 주의점

영화 추천 시스템을 개발하는데 파이썬 웹 크롤링 라이브러리로 bs4에 내장된 BeautifulSoup()를 사용하다가 알게 된 find_all() 사용시 주의 점 !!

2021년 11월 30일
·
0개의 댓글
·
post-thumbnail

로그인이 필요한 사이트의 크롤러 만들기(Feat. cookie, session, excel)

로그인이 필요한 정적인 페이지의 url을 입력하여 필요한 값들을 엑셀에 입력하는 크롤러 만들기 🤸‍♀️

2021년 11월 16일
·
0개의 댓글
·

python으로 web scraping

웹 크롤링, 웹 스크래핑, requests 라이브러리, beautifulsoup

2021년 9월 21일
·
0개의 댓글
·

web scraping을 위한 HTML과 CSS

web scrapping을 하기 위해 간단하게 html과 css에 대해 알아보자.

2021년 9월 21일
·
0개의 댓글
·