# Crawling
[python] Selenium과 Beautifulsoup를 활용한 유튜브 댓글 크롤링
유튜브 댓글을 수집하는 방법은 크게 2가지입니다. 첫번째는 Google에서 제공하는 유튜브 API를 사용하는 것이고, 두번째는 직접 HTML문서에서 크롤링하는 방법이 있습니다. 하지만 첫번째 방법은 할당량이 넘으면 API를 유료로 사용해야 해서 두번째 방법으로 진행해봤
[python] 유튜브 API를 활용한 댓글 크롤링
유튜브 댓글을 수집하는 방법은 크게 두 가지입니다. 첫번째는 Google에서 제공하는 유튜브 API를 사용하는 것이고, 두번째는 직접 HTML 문서에서 크롤링하는 방법이 있습니다. 이번에는 유튜브 API를 사용해서 유튜브 댓글을 크롤링할 것인데, 주의해야 할 점이 있습
[python] 네이버 쇼핑몰 리뷰 크롤링
오늘은 네이버 쇼핑몰 리뷰 크롤링을 진행해봤습니다. "LG 에어로타워"에 대한 리뷰가 필요한데, 네이버 쇼핑몰의 리뷰가 수는 적어도 괜찮은 평가들이 있더라구요! 에어로타워 쇼핑몰리뷰를 크롤링해보겠습니다.크롤링을 위해 Selenium과 BeautifulSoup를 불러옵
어? 혹시... 정지..?
데이터도 잘 불러와서 금방 끝날 줄 알았다. 하지만, 역시 그럴리 없지ㅋㅋ 버그만 생기면 다행인데 꽤나 크리티컬한 이슈도 생겨버렸다.
오늘 뭐 먹으러 가지.
우리 회사는 총 3곳의 한식뷔페 및 백반집 식권을 중식으로 제공한다. 업체 모두 인스타그램으로 오늘의 메뉴를 알려준다. 하지만, 이게 매일 3곳 업체를 하나하나 확인하기 은근 귀찮단 말이지.
고객센터 Q&A 크롤링
다양한 서비스 고객센터의 QnA를 크롤링하는 작업 내용을 기록service_1 : 기업명 ex) kakao 고객센터, coupang 고객센터 등 service_2 : 서비스명 ex) 카카오톡, 카카오 계정 등 category_1 : 대분류 카테고리 ex) 결제
[Nest.js]09. puppeteer로 무한 스크롤링하기(2)
저번 글에 이어서 이번에는 모든 웹툰의 id를 가져오는 함수를 구현한다. 저번보다 훨씬 쉽지만 주의해야 할 것은 완결 웹툰이다.완결 웹툰은 양이 많기 때문에 네이버나 카카오 웹툰 페이지를 들어가면 한번에 모든 웹툰을 로딩 하지 않고 일부분만 로딩한다. 그리고 무한 스크
[Nest.js]08. puppeteer로 크롤링하기(1)
1. 개요 네이버웹툰과 카카오페이지로 웹툰 데이터를 가져오기 위해서 puppeteer와 cheerio를 통해 크롤링을 한다. 먼저 크롤링을 할 때 주의할 점이 있다. - 로그인 네이버웹툰이나 카카오페이지는 성인인증이 필요한 웹툰들이 존재하고 그 웹툰 데이터를 모두
[Python] 채용공고 크롤링 TroubleShooting
새로 참여하게된 프로젝트에서 채용공고를 크롤링하는 스프린트를 부여받았다. 부트캠프때 한 번 해본 작업이긴하지만, 다시 하려니 오류가 많이났었다. 그래서 이 포스트에서는 크롤링이라는 개념보다는 내가 스프린트를 수행하면서 막혔던 부분을 정리하고자한다. 사람인 채용공고 크
[Crawling] Chromedriver setting (ubuntu)
구글 크롬은 ubuntu에 cli로 설치하기 위해서는 아래 절차를 따르면 된다.먼저, 설치한 Chrome의 버전을 확인해보자다음으로 아래 링크에서 해당 버전에 맞는 Chromedriver를 설치하면 된다.https://chromedriver.chromium.o
실전!_알라딘 크롤링
오늘은 파이썬 requests, beautifulsoup을 통해서 알라딘의 카테고리별 도서 랭킹 내용을 크롤링 하려고 한다! 왜 하필 도서 사이트를 크롤링? > 크롤링을 입문함에 있어 길들이는 것이 가장 중요하기 때문에 대한민국 빅사이트 (네이버,다음,구글 등) 들
Selenuum 알라딘 리뷰 크롤링
이번 프로젝트에서 yes24의 도서 리뷰를 크롤링해야 했다 .과정은 도서 isbn으로 검색을 하고 해당 도서로 들어가 리뷰정보를 저장했다따라서 이 과정들을 자동화하기 위해 Selenuum을 사용했다웹 애플리케이션 테스트를 위한 포터블 프레임워크이다. 셀레늄은 테스트 스
