scrapping & crawling

OwlSuri·2022년 4월 28일
0

다른 사이트에 있는 정보 가져오기

어떻게??

백엔드에 있는 API들을 통해 html도 주고받을 수 있다.
백엔드에서 주소에 맞는 html을 받을 수 있다.

  • git bash에서 curl 명령어로 실습가능

  • postman 에서도 확인 가능

  • 라이브러리 : cheerio, puppeteer

scrapping

한번 가져오기
-> Cheerio(npm 라이브러리) 사용

crawling

정기적으로 꾸준히 가져오기
-> Puppeteer(npm 라이브러리) 사용

profile
기억이 안되면, 기록을 -

0개의 댓글