20210125 - 크롤링, puppeteer

AI 모델 학습에 필요한 인스타그램 유저 데이터가 필요했다.
마침 스니커즈 프로젝트에서 사용한 puppeteer가 있어 인스타그램에 맞춰 수정 작업했다.

---

https://flaviocopes.com/node-write-csv/

How to write a CSV file with Node.js (objects-to-csv)

https://velog.io/@jehjong/nodejs-%ED%81%AC%EB%A1%A4%EB%A7%81-1%EC%9E%A5.-%EC%9B%B9%ED%81%AC%EB%A1%A4%EB%9F%AC-%ED%8C%8C%EC%8B%B1

[nodejs 크롤링] 1장. 웹크롤러 파싱

https://spiralmoon.tistory.com/entry/Nodejs-env-%ED%99%98%EA%B2%BD%EB%B3%80%EC%88%98

[Node.js] .env 환경변수

https://developers.google.com/web/tools/puppeteer/troubleshooting

puppeteer Troubleshooting

If you are using a JavaScript transpiler like babel or TypeScript, calling evaluate() with an async function might not work. This is because while puppeteer uses Function.prototype.toString() to serialize functions while transpilers could be changing the output code in such a way it's incompatible with puppeteer.

https://www.daleseo.com/js-babel-node/

Node.js로 ES6 코드 실행하기 (Babel)

삽질한 이유 MDN을 빨리 안봐서..
for...of에서 variable 지정해줘야 하는지 몰랐다.

https://developer.mozilla.org/ko/docs/Web/JavaScript/Reference/Statements/for...of

for...of

https://jun-choi-4928.medium.com/puppeteer-%ED%81%AC%EB%A1%A4%EB%A7%81-%EB%B9%84%EB%8F%99%EA%B8%B0-%EB%B3%91%EB%A0%AC%EC%B2%98%EB%A6%AC%ED%95%98%EA%B8%B0-4bee1e5af998

Puppeteer 크롤링 비동기 병렬처리하기

https://velog.io/@minsangk/2019-09-06-0209-%EC%9E%91%EC%84%B1%EB%90%A8-eik06xy8mm

map, reduce 함수에서 async/await 쓰기

if문으로 먼저 잘라서 아이디 바꾼 사람들은 따로 찾기