# puppeteer

40개의 포스트
post-thumbnail

[남도학숙 식단 어플] 2. Node.js를 로그인이 필요한 페이지 크롤링 하기

🙏 크롤링이란? 나는 현재 남도 학숙(지역 학사)에 살고 있다. 그렇게 아침과 저녁을 보통 학숙에서 나오는 밥을 먹는데, 매번 식사 메뉴를 확인하기 위해서는 아래와 같은 과정을 거쳐야 했다. 핸드폰 크롬에 남도학숙 검색. 남도학숙 사이트에서 남도학숙 학사관리 시스템

4일 전
·
0개의 댓글
post-thumbnail

시각적 회귀 테스트로 서비스 안정성 끌어올리기

이 글은 2022년 1월 우아한테크세미나에서 발표 주제로 다루었던 시각적 회귀 테스트를 구현하는 방법을 좀 더 자세히 설명한 글입니다. 우아한형제들 기술블로그에 있는 것과 같은 내용입니다.

2022년 2월 18일
·
0개의 댓글

시각적 요소 테스트

시각적 요소 테스트

2022년 1월 27일
·
0개의 댓글
post-thumbnail

Puppeteer vs Selenium: Core Differences

Puppeteer vs Selenium: Core Differences

2022년 1월 24일
·
0개의 댓글
post-thumbnail

Puppeteer? Headless Browser?

puppeteer 가 뭘까...headless browser 가 뭘까.... ㅠㅅㅠ크롬없이 크롬을 실행해볼까?위키보기화면이 없다. 창이 없다 브라우저.말 그대로 GUI환경이 아닌, CLI에서 동작하는 브라우저다.보통 browser를 이용할때, 화면(창)이 뜨고 그 위에

2022년 1월 22일
·
0개의 댓글

Node.js 와 Puppeteer로 Instagram 크롤링

인스타그램 유저 이름을 받아서 해당 유저의 계정 정보들을 크롤링한 코드 ✨프로필 : 계정이름, 이름, 프로필 사진, 비공개 계정 여부, id, bio, 게시글 수, 팔로워 수, 팔로잉 수, 웹 사이트게시글 : 게시글코드, 게시글 이미지, 좋아요수, 댓글 수 , 태그한

2022년 1월 18일
·
0개의 댓글
post-thumbnail

[Node.js] Puppeteer을 통한 42 intra 크롤링

유명한 크롤러 라이브러리로 Selenium이 있지만Node.js로 웹 개발을 진행중이여서 노드 라이브러리를 찾게 되었다.2017년 구글에서 만들어 낸 노드를 위한 웹 스크래핑 서비스 이며예시로 크롤러가 사람처럼 input에 값을 넣고 로그인 버튼을 눌러준 후 페이지를

2021년 9월 27일
·
0개의 댓글
post-thumbnail

ETOOS, 반복문반복문반복문반복문반복문

puppeteer, Javascript 그리고 냐옹이

2021년 6월 7일
·
0개의 댓글
post-thumbnail

[Express] Puppeteer, React, Express를 활용해 크롤러 만들기 및 Heroku에 배포하기

이번 포스팅에서는 Puppeteer를 활용해 구글의 검색결과를 크롤링 하는 웹페이지를 만들어 보겠다. 클라이언트는 React, 서버는 Express를 사용할것이다. 로컬에서 작업이 끝나면 Heroku에 배포까지 해보자.Puppeteer는 Google Chrome 개발팀

2021년 4월 30일
·
0개의 댓글
post-thumbnail

[Azure Functions] Run puppeteer on Azure Functions

이번에 지인의 요청으로 Puppeteer 기반으로 된 크롤러를 Azure Functions 에 올리면서 겪은 경험을 공유하고자 한다.Azure Functions 을 만들고, 배포하는 방법은 다양하다. VSCode Extension 을 사용할 수도 있고, Azure C

2021년 4월 8일
·
0개의 댓글
post-thumbnail

playwright를 사용하여 웹크롤러 만들기(2)

이제 본격적으로 웹크롤러를 만들어 보겠습니다. > 목표물은 교보문고의 분야 종합 주간 베스트셀러 리스트 입니다. 그 중에서도 책 이름과 저자 이름 두가지 데이터를 가져와 보겠습니다. 1. 브라우저를 생성해 줍니다. 2. 목표 사이트로 이동합니다. 3. 50개씩

2020년 11월 8일
·
0개의 댓글
post-thumbnail

playwright를 사용하여 웹크롤러 만들기(1)

playwright 라이브러리를 사용하여 웹크롤러를 만들어보려 합니다! 만들기에 앞서 playwright는 puppeteer를 만든팀이 MS로 옮겨가면서 만들게된 라이브러리라고 합니다. > 그래서 대부분의 기능이 puppeteer와 유사하기 때문에 puppeteer를

2020년 11월 8일
·
0개의 댓글
post-thumbnail

[크롤링 로그인] 노션 메일주소로 로그인하기

.env에 보안이 필요한 정보를 입력해두면 코드가 유출되어도 보안유지 가능.env 파일에 메일주소와 비밀번호 등의 정보 입력사용할 페이지에 dotenv 불러오기아래 형식으로 값 불러와서 사용networkidle0과 networkidle2를 사용해봤는데 사실 차이를 아직

2020년 9월 29일
·
0개의 댓글
post-thumbnail

[nodejs 크롤링] 3장. 이미지와 CSS선택자

제로초 github매일 스크린샷을 찍을 수 있다개별 이미지도 다운 가능링크 주소를 소스에 넣으면 보이지만 남의 이미지 트래픽을 사용하는 것이기때문에 부담을 줄 수 있다직접 다운 받아 사용이미지 요청을 하면 0과 1로 이루어진 buffer형태로 오고 그것을 fs로 읽는다

2020년 9월 26일
·
0개의 댓글

퍼펫티어 form창에 입력하기

🦊 방식1 🦊 방식2

2020년 9월 19일
·
0개의 댓글

퍼펫티어 마우스 관련 명령어

down은 마우스 클릭후 안뗌up은 클릭된 마우스를 뗌

2020년 9월 19일
·
0개의 댓글

퍼펫티어에서 마우스 위치 시각화

위에 예시코드에서 evaluate부분을 넣어주면 그 뒤에 마우스 관련 행동들이 시각화돼서 보여진다.위 코드는 npm i puppeteer -> node 코드를\_저장한\_파일명으로 실행 시킬수있다.

2020년 9월 19일
·
0개의 댓글

퍼펫티어 로그인 요청 기다리기

로그인 이후에 네트워크탭에서 주고받는 것들을 살펴보고 get요청중에 어떤 URL로 보내는지 확인해서 특정 동작을 기다릴 수 있다.

2020년 9월 19일
·
0개의 댓글