# puppeteer

26개의 포스트
post-thumbnail

[크롤링 로그인] 노션 메일주소로 로그인하기

.env에 보안이 필요한 정보를 입력해두면 코드가 유출되어도 보안유지 가능.env 파일에 메일주소와 비밀번호 등의 정보 입력사용할 페이지에 dotenv 불러오기아래 형식으로 값 불러와서 사용networkidle0과 networkidle2를 사용해봤는데 사실 차이를 아직

2일 전
·
0개의 댓글
post-thumbnail

[nodejs 크롤링] 3장. 이미지와 CSS선택자

제로초 github매일 스크린샷을 찍을 수 있다개별 이미지도 다운 가능링크 주소를 소스에 넣으면 보이지만 남의 이미지 트래픽을 사용하는 것이기때문에 부담을 줄 수 있다직접 다운 받아 사용이미지 요청을 하면 0과 1로 이루어진 buffer형태로 오고 그것을 fs로 읽는다

6일 전
·
0개의 댓글

퍼펫티어 form창에 입력하기

🦊 방식1 🦊 방식2

2020년 9월 19일
·
0개의 댓글

퍼펫티어 마우스 관련 명령어

down은 마우스 클릭후 안뗌up은 클릭된 마우스를 뗌

2020년 9월 19일
·
0개의 댓글

퍼펫티어에서 마우스 위치 시각화

위에 예시코드에서 evaluate부분을 넣어주면 그 뒤에 마우스 관련 행동들이 시각화돼서 보여진다.위 코드는 npm i puppeteer -> node 코드를\_저장한\_파일명으로 실행 시킬수있다.

2020년 9월 19일
·
0개의 댓글

퍼펫티어 로그인 요청 기다리기

로그인 이후에 네트워크탭에서 주고받는 것들을 살펴보고 get요청중에 어떤 URL로 보내는지 확인해서 특정 동작을 기다릴 수 있다.

2020년 9월 19일
·
0개의 댓글

퍼펫티어 page.click이 안될때

퍼펫티어에서 기본 제공하는 클릭 기능인데 이게 클릭이 안될때가 있는것 같다.그럴때는 evaluate를 사용한다.

2020년 9월 19일
·
0개의 댓글

크롤링시 수집한 태그 지우기 (puppeteer)

img태그를 돔에서 추출한뒤 parentElement로 한단계 올라가서 그의 자식을 삭제하면됨

2020년 9월 19일
·
0개의 댓글
post-thumbnail

크롬에서 CSS selector 쉽게 알아내기

개발자 도구 element탭에서 화살표로 원하는 부분 클릭하고 파란줄뜨는 부분에 우클릭으로 위처럼 Copy selector를 하면\`이렇게 저 하나만을 콕 찝을 수 있는 셀렉터를 알려준다.너무 자세해서 수정해서 써도 된다.

2020년 9월 18일
·
0개의 댓글

퍼펫티어에서 $(), $$()

크롬개발자 모드나 퍼펫티어에서 $()나 $$()를 사용할 수 있다.$('div') = document.querySelector('div');해당 엘레먼트들이 여러개인경우엔 제일 첫번째꺼 선택$$('div') = document.querySelectorALL('div')

2020년 9월 17일
·
0개의 댓글
post-thumbnail

크롬에서 userAgent알아내서 puppeteer에 적용하기

크롬 개발자 모드 콘솔에navigator.userAgent라고 입력await browser.setUserAgent()에 인자로 위의 결과를 집어넣어주면 퍼펫티어의 userAgent가 사용하고 있던 크롬의 userAgent로 바뀐다.userAgent가 잘 바뀌었는지 확인

2020년 9월 17일
·
0개의 댓글

page.evaluate 함수(puppeteer)

위 코드처럼 page.$(); 로 선택자를 지정하고 page.evaluate안에 2번째 인자로 넣어줄수 있지만 이렇게 되면 선택자가 여러개가 될때 너무 불편해진다이 방식보다는 아래처럼 page.$()를 사용하지 않고 evaluate만을 사용한다.(2번째 인자 없음)이렇

2020년 9월 17일
·
0개의 댓글

puppeteer 기본 예제 및 기본 함수

여기에서 $는 document.querySelector의 역할을 한다. (CSS 셀렉터)

2020년 9월 17일
·
0개의 댓글
post-thumbnail

Puppeteer 웹 스크래핑

Puppeteer Puppeteer는 Node.js 의 라이브러리로, 크롬 혹은 크로미움을 Headless 브라우저( GUI 가 없는 웹 브라우저) 상태로 조작할 수 있게 도와주는 API를 제공해 준다.

2020년 8월 11일
·
0개의 댓글
post-thumbnail

Puppeteer를 구글클라우드플랫폼에서 실행하기

예전엔 웹을 스크랩하는데 Axios 나 cheerio 같은걸 많이 사용했지만 최근 싱글 페이지 애플리케이션(SPA)이 증가함에따라 동적(dynamically) 으로 랜더링되는 페이지로부터 정보는 다룰 수 없게되었습니다. 대안으로 등장한 Puppeteer는 Chrome브

2020년 7월 17일
·
0개의 댓글
post-thumbnail

Puppeteer를 이용한 웹 크롤링 해보기 (예제 1)

웹 페이지를 그대로 가져와서 거기서 데이터를 추출해 내는 행위다. 프로그래밍으로 자동화할 수 있다.Puppeteer는 Headless Chrome 혹은 Chromium를 제어하도록 도와주는 라이브러리이다.Headless BrowerHeadless Browser는 CLI

2020년 6월 8일
·
0개의 댓글
post-thumbnail

원점에서 시작하는 Promises

async/await는 promise를 바탕으로 만들어졌습니다. async 함수는 promise를 반환하며, await은 promise를 대상으로 작동할 때, 해당 async 함수를 일시 정지 시킵니다. async/await 내부를 이해하기 위해서는 기본 원칙들로 부터

2020년 5월 25일
·
0개의 댓글
post-thumbnail

Async/Await 마스터 하기

본 문서는 Valeri Karpov 씨의 전자책 저작물인 "Mastering Async/Await"를 당사자의 허락을 득 한 후 번역하였습니다.원문은 별도 구매가 필요합니다. 아래 주소를 참고하세요.https://thecodebarbarian.com/new-e

2020년 5월 25일
·
0개의 댓글
post-thumbnail

AWS Lambda에서 Puppeteer로 크롤링 하기

5 시간 동안 삽질해가면서 얻어낸 결과를 정리해보려고 한다.이제 Lambda를 약간이나마 사용할 줄도 알고 Puppeteer도 해봤으니 Lambda에서 Puppeteer를 돌리는거야 쉽쉽이지~ 하면서 도전을 했지만..어림도 없었다. Runtime Syntex Error

2020년 2월 13일
·
1개의 댓글
post-thumbnail

Puppeteer로 학교 공지 글 크롤링 하기!

사람들이 손쉽게 사용할 수 있는 크롤링 라이브러리로는 Selenium이 유명하다. 나도 여러 번 사용해 왔었고 간편한 방법으로 간단하게 크롤링을 할 수 있는 것은 맞으나.. 나는 Python이 익숙치 않아서 불편했었다. 그러던 중에 모두의 친구 구글이 해냈다.Puppe

2020년 2월 12일
·
2개의 댓글