# puppeteer

35개의 포스트
post-thumbnail

[Node.js] Puppeteer을 통한 42 intra 크롤링

유명한 크롤러 라이브러리로 Selenium이 있지만Node.js로 웹 개발을 진행중이여서 노드 라이브러리를 찾게 되었다.2017년 구글에서 만들어 낸 노드를 위한 웹 스크래핑 서비스 이며예시로 크롤러가 사람처럼 input에 값을 넣고 로그인 버튼을 눌러준 후 페이지를

2021년 9월 27일
·
0개의 댓글

[Node] 학교 홈페이지 크롤러

Grigo 프로젝트를 진행하면서 메인화면에 학사 일정을 제공하자는 의견이 나왔다. 하지만 학교에서 제공하는 API는 없어서 직접 크롤러를 만들기로 하였다. cheerio와 puppeteer 두 방식 사용하여 개발하였다.

2021년 8월 14일
·
0개의 댓글
post-thumbnail

ETOOS, 반복문반복문반복문반복문반복문

puppeteer, Javascript 그리고 냐옹이

2021년 6월 7일
·
0개의 댓글
post-thumbnail

ETOOS, 왜 일을 이렇게 하는거야

Puppeteer 를 이용한 예비역, 행정병..

2021년 5월 15일
·
0개의 댓글
post-thumbnail

[Express] Puppeteer, React, Express를 활용해 크롤러 만들기 및 Heroku에 배포하기

이번 포스팅에서는 Puppeteer를 활용해 구글의 검색결과를 크롤링 하는 웹페이지를 만들어 보겠다. 클라이언트는 React, 서버는 Express를 사용할것이다. 로컬에서 작업이 끝나면 Heroku에 배포까지 해보자.Puppeteer는 Google Chrome 개발팀

2021년 4월 30일
·
0개의 댓글
post-thumbnail

[Azure Functions] Run puppeteer on Azure Functions

이번에 지인의 요청으로 Puppeteer 기반으로 된 크롤러를 Azure Functions 에 올리면서 겪은 경험을 공유하고자 한다.Azure Functions 을 만들고, 배포하는 방법은 다양하다. VSCode Extension 을 사용할 수도 있고, Azure C

2021년 4월 8일
·
0개의 댓글
post-thumbnail

playwright를 사용하여 웹크롤러 만들기(2)

이제 본격적으로 웹크롤러를 만들어 보겠습니다. > 목표물은 교보문고의 분야 종합 주간 베스트셀러 리스트 입니다. 그 중에서도 책 이름과 저자 이름 두가지 데이터를 가져와 보겠습니다. 1. 브라우저를 생성해 줍니다. 2. 목표 사이트로 이동합니다. 3. 50개씩

2020년 11월 8일
·
0개의 댓글
post-thumbnail

playwright를 사용하여 웹크롤러 만들기(1)

playwright 라이브러리를 사용하여 웹크롤러를 만들어보려 합니다! 만들기에 앞서 playwright는 puppeteer를 만든팀이 MS로 옮겨가면서 만들게된 라이브러리라고 합니다. > 그래서 대부분의 기능이 puppeteer와 유사하기 때문에 puppeteer를

2020년 11월 8일
·
0개의 댓글
post-thumbnail

[크롤링 로그인] 노션 메일주소로 로그인하기

.env에 보안이 필요한 정보를 입력해두면 코드가 유출되어도 보안유지 가능.env 파일에 메일주소와 비밀번호 등의 정보 입력사용할 페이지에 dotenv 불러오기아래 형식으로 값 불러와서 사용networkidle0과 networkidle2를 사용해봤는데 사실 차이를 아직

2020년 9월 29일
·
0개의 댓글
post-thumbnail

[nodejs 크롤링] 3장. 이미지와 CSS선택자

제로초 github매일 스크린샷을 찍을 수 있다개별 이미지도 다운 가능링크 주소를 소스에 넣으면 보이지만 남의 이미지 트래픽을 사용하는 것이기때문에 부담을 줄 수 있다직접 다운 받아 사용이미지 요청을 하면 0과 1로 이루어진 buffer형태로 오고 그것을 fs로 읽는다

2020년 9월 26일
·
0개의 댓글

퍼펫티어 form창에 입력하기

🦊 방식1 🦊 방식2

2020년 9월 19일
·
0개의 댓글

퍼펫티어 마우스 관련 명령어

down은 마우스 클릭후 안뗌up은 클릭된 마우스를 뗌

2020년 9월 19일
·
0개의 댓글

퍼펫티어에서 마우스 위치 시각화

위에 예시코드에서 evaluate부분을 넣어주면 그 뒤에 마우스 관련 행동들이 시각화돼서 보여진다.위 코드는 npm i puppeteer -> node 코드를\_저장한\_파일명으로 실행 시킬수있다.

2020년 9월 19일
·
0개의 댓글

퍼펫티어 로그인 요청 기다리기

로그인 이후에 네트워크탭에서 주고받는 것들을 살펴보고 get요청중에 어떤 URL로 보내는지 확인해서 특정 동작을 기다릴 수 있다.

2020년 9월 19일
·
0개의 댓글

퍼펫티어 page.click이 안될때

퍼펫티어에서 기본 제공하는 클릭 기능인데 이게 클릭이 안될때가 있는것 같다.그럴때는 evaluate를 사용한다.

2020년 9월 19일
·
0개의 댓글

크롤링시 수집한 태그 지우기 (puppeteer)

img태그를 돔에서 추출한뒤 parentElement로 한단계 올라가서 그의 자식을 삭제하면됨

2020년 9월 19일
·
0개의 댓글
post-thumbnail

크롬에서 CSS selector 쉽게 알아내기

개발자 도구 element탭에서 화살표로 원하는 부분 클릭하고 파란줄뜨는 부분에 우클릭으로 위처럼 Copy selector를 하면\`이렇게 저 하나만을 콕 찝을 수 있는 셀렉터를 알려준다.너무 자세해서 수정해서 써도 된다.

2020년 9월 18일
·
0개의 댓글

퍼펫티어에서 $(), $$()

크롬개발자 모드나 퍼펫티어에서 $()나 $$()를 사용할 수 있다.$('div') = document.querySelector('div');해당 엘레먼트들이 여러개인경우엔 제일 첫번째꺼 선택$$('div') = document.querySelectorALL('div')

2020년 9월 17일
·
0개의 댓글
post-thumbnail

크롬에서 userAgent알아내서 puppeteer에 적용하기

크롬 개발자 모드 콘솔에navigator.userAgent라고 입력await browser.setUserAgent()에 인자로 위의 결과를 집어넣어주면 퍼펫티어의 userAgent가 사용하고 있던 크롬의 userAgent로 바뀐다.userAgent가 잘 바뀌었는지 확인

2020년 9월 17일
·
0개의 댓글