# bs4
231025 데브코스 데이터 엔지니어링 TIL
기본적인 웹 스크래핑의 실습을 하는 시간이었다. bs4를 사용하여 스크래핑했는데, 기존에 해본 경험이 있어 낯설지 않았다.다만 bs4가 이런거다, 기본적인 작동 방법 정도를 알려주는거라 혼자 더 연습하면서 사용법을 숙달해야겠다.내일 강의에 selenium이 에정되어있는
[BeautifulSoup]네이버 증권 인기검색 종목, 해외 증시 크롤링 코드
안녕하세요!오늘은 네이버 증권 인기검색 종목, 해외 증시 크롤링 코드를 배포하려고 합니다.1\. 네이버 증권 인기종목 크롤링2\. 네이버 증권 해외증시 크롤링
[BeautifulSoup]뉴스 이슈 리스트 가져오기, 링크 가져오기 코드
안녕하세요!오늘은 BeautifulSoup을 활용한 뉴스 이슈 리스트 가져오기, 링크 가져오기 코드를 배포합니다.1\. 뉴스 이슈 가져오기 크롤링 코드2\. 뉴스 링크 가져오기 크롤링 코드감사합니다!
[BeautifulSoup] 다음 뉴스, 네이버 뉴스 기사 제목 크롤링 코드
안녕하세요!오늘은 다음 뉴스기사와 네이버뉴스 기사 크롤링 코드를 배포합니다.1\. 다음 뉴스 제목 크롤링import requestsfrom bs4 import BeautifulSouphead = {'User-Agent':'Mozilla/5.0 (Windows NT 10
[BeautifulSoup] 크롤링 패턴 코드 연습하기
안녕하세요! 오늘은 beautifulsoup을 활용한 크롤링 패턴 코드를 연습하려고 합니다.1\. 라이브러리 임포트request: 웹페이지 가져오기 bs4(BeautifulSoup):웹페이지 분석 라이브러리2\. 웹페이지 가져오기URL 요청을 하고, HTML을 받는다.
[BeautifulSoup] 크롤링 환경 설정, 태그, 글자 추출
안녕하세요! 오늘은 크롤링 기초에 대해 정리하겠습니다.1\. BeautifulSoup 환경 구성하기html을 가정했을때 아래와 같이 지정해줍니다.2\. 태그 선택2-1. 태그 이름이 tag1인 html요소를 리스트 형태로 모두 반환한다. 2-2. 태그 이름이 tag1인
django에서 bs4와 selenium을 이용해 웹 크롤링 하기 - (3)
django에서 bs4와 selenium을 이용해 웹 크롤링 하기 - (3) : django DB에 크롤링 한 데이터 저장하기
Import "bs4"could not be resolved from the source Pylance (reportMissingModuleSource) 해결 방법
Import "bs4" could not be resolved from source Pylance reportMissingModuleSource 오류
django에서 bs4와 selenium을 이용해 웹 크롤링 하기 - (2)
django에서 bs4와 selenium을 이용해 웹 크롤링 하기 - (2) : selenium으로 크롤링 자동화
django에서 bs4와 selenium을 이용해 웹 크롤링 하기 - (1)
django에서 bs4와 selenium을 이용해 웹 크롤링 하기 - (1) : bs4를 사용한 웹 사이트 크롤링 (feat. requests)
bs4
bs4는 "Beautiful Soup 4"의 줄임말로, Python 프로그래밍 언어를 위한 웹 스크래핑 라이브러리입니다. 웹 스크래핑은 웹 페이지의 HTML 구조를 분석하고 데이터를 추출하는 작업을 의미합니다. Beautiful Soup는 HTML과 XML 문서를 파싱
2-3. 원하는 요소 가져오기 I
학습주제예제를 이용한 beautifulsoup 실습책 이름 모으기학습 내용요소가 웹페이지 전체의 어디에 속하는지 알아야함. html의 형태를 알아야함chrome을 기준으로 f12컨텐츠 기반 스크래핑이라고 함. 모든 사이트에 대해 이렇게 웹사이트를 보고 찾아가는 행위는
Beautifulsoup / regular expression
⌨️ bs4 : beautifulsoup4아래 두 경우는, 동일하다.🛻 html🛻 beautifulsoup🛻 regular expression (정규표현)정규표현에서 사용하는 메타문자에는 다음과 같은 것들이 있다.. ^ $ \* + ? { } \\ | ( )
[DE프젝]두 번째 회고
🥹 엘라스틱에서 MySQL로 1월 한 달을 es 공부와 구축에 쏟았다. 그러던 중 2월 초, 백엔드분으로부터 es로만 구축하면 서버가 뻗을 것이다 라는 얘기를 들었다. 그래서 처음 DB였던 MySQL로 회귀하였다..... 처음엔 간단하게 MySQL이 RDB니까 더
[DE프젝]첫 번째 회고
✒ 프로젝트 개요 12월부터 참여하게 된 팀 프로젝트가 있어 그 과정을 기록하려 한다. 내가 참여한 프로젝트는 실제로 서비스로 출시를 목표로 하는 팀이고, 각 분야의 미들 이상급 분들과 주니어가 섞인 성장형+실무형 프로젝트다. 프로젝트는 유튜브 데이터를 AI 학습