# puppeteer

54개의 포스트

node.js에서 크롤링

node.js 환경에서 크롤링하는 다양한 방법 및 삽질 수기

2일 전
·
0개의 댓글
·
post-thumbnail

PUPPETEER 클릭 후 새 페이지 탭 element 사용하기

📌Puppeteer를 이용하여 크롤링 중 클릭 후 새 페이지가 탭으로 뜨는 경우 ELEMENT가 사용이 안됐다. --- 특정 PAGE 링크로 이동한다. --- --- 이동된 page 내에서 css selector로 값을 click하여 새 페이지를 띄운다. ✅ 새

2022년 11월 21일
·
0개의 댓글
·

[남도학숙 식단 어플] 3. 크롤링 방식 변경(puppeteer 사용 X -> api 요청 방식)

1. 문제상황 지난글에서 나는 cheerio와 puppeteer를 이용해서 식단표를 크롤링하는데 성공했다 그런데, 마음에 들지 않는 부분이 있었다. 그것은 바로 <span

2022년 11월 12일
·
0개의 댓글
·

puppeteer란?

이번에 프로젝트를 진행하면서 headless 브라우저 띄우며 사용했던 puppeteer에 대해 정리해 보고자 한다. 공식 홈페이지와 실제 사용하면서 정리해두고자 했던 내용 위주로 작성할 예정이며, 틀린 내용이 있을 수도 있다! 🤣 Puppeteer란? DevTool

2022년 8월 24일
·
0개의 댓글
·
post-thumbnail

헤드리스 브라우저란 무엇일까

헤드리스 브라우저는 GUI(그래픽 유저 인터페이스) 없이 동작하는 웹 브라우저이다.

2022년 8월 24일
·
0개의 댓글
·
post-thumbnail

[JS] puppeteer로 구글 검색 결과 크롤링하기

puppeteer와 셀렉터로 크롤링하기

2022년 8월 19일
·
0개의 댓글
·
post-thumbnail

puppeteer를 이용한 웹 크롤링 (1)

1주차 교육 예제대한약사회에서 운영하는 휴일지킴이약국이라는 사이트를 통해 약국 정보 추출하기이다.나중에 추가 설명 작성하기🎉 실행결과 데이터가 제대로 추출되어 JSON 파일로 저장이 되었다!

2022년 7월 22일
·
0개의 댓글
·
post-thumbnail

[Javascript] [puppeteer][크롤링 2]

크롤링 - 2

2022년 7월 21일
·
0개의 댓글
·
post-thumbnail

[Javascript] [puppeteer][크롤링]

Puppeteer를 활용한 crawling

2022년 7월 19일
·
0개의 댓글
·

puppeteer를 활용하여 크롤링 해보기 (중단)

서버부하 문제로 중단!

2022년 6월 20일
·
0개의 댓글
·
post-thumbnail

puppeteer를 활용하여 크롤링 해보기 (4)

자동으로 스크롤을 내려줄 때 발생한 문제점, 브라우저의 해상도를 넓게 쓰는 법

2022년 6월 19일
·
0개의 댓글
·
post-thumbnail

puppeteer를 활용하여 크롤링 해보기 (3)

크롤링까지는 성공, 이제 DB에 데이터를 담아주기만 하면 끝

2022년 6월 19일
·
0개의 댓글
·
post-thumbnail

puppeteer를 활용하여 크롤링 해보기 (2)

무한스크롤 해결하기, 새로운 탭 만들어서 정보 긁어오고 닫기

2022년 6월 19일
·
0개의 댓글
·
post-thumbnail

puppeteer를 활용하여 크롤링 해보기 (1)

내가 원하는 공고를 못봐서 홧병나서 만드는 채용 페이지 만들기 with 크롤링

2022년 6월 18일
·
0개의 댓글
·
post-thumbnail

Property 'children' does not exist on type 'Node'.ts(2339)

puppeteer로 동적인 페이지의 컨텐츠를 가져와서 cheerio로 문자를 추출하려고 했다.typescript에서 rows\[0].children\[0]의 type은 Node인데 여기엔 children 속성이 없다고 에러를 발생시켰다.테스트 코드로 디버깅해보면 결과가

2022년 5월 31일
·
0개의 댓글
·
post-thumbnail

[남도학숙 식단 어플] 2. Node.js를 로그인이 필요한 페이지 크롤링 하기

🙏 크롤링이란? 나는 현재 남도 학숙(지역 학사)에 살고 있다. 그렇게 아침과 저녁을 보통 학숙에서 나오는 밥을 먹는데, 매번 식사 메뉴를 확인하기 위해서는 아래와 같은 과정을 거쳐야 했다. 핸드폰 크롬에 남도학숙 검색. 남도학숙 사이트에서 남도학숙 학사관리 시스템

2022년 5월 15일
·
0개의 댓글
·
post-thumbnail

시각적 회귀 테스트로 서비스 안정성 끌어올리기

이 글은 2022년 1월 우아한테크세미나에서 발표 주제로 다루었던 시각적 회귀 테스트를 구현하는 방법을 좀 더 자세히 설명한 글입니다. 우아한형제들 기술블로그에 있는 것과 같은 내용입니다.

2022년 2월 18일
·
0개의 댓글
·

시각적 요소 테스트

시각적 요소 테스트

2022년 1월 27일
·
0개의 댓글
·
post-thumbnail

Puppeteer vs Selenium: Core Differences

Puppeteer vs Selenium: Core Differences

2022년 1월 24일
·
0개의 댓글
·