패키지 설치

• yarn add puppeteer
• yarn add json2csv
• yarn add csv-parser

패키지들을 설치해서 크롤링 준비를 끝냈다

크롤링하기

팀 순위랑 경기 일정을 크롤링 할 때 mykbostats 라는 사이트를 사용했다
개발자 도구에서 크롤링 할 부분의 태그와 클래스 이름을 찾아서 가져왔다

CSV변환

크롤링을 한 데이터들을 supabase에 저장하려는데 크롤링 데이터들은 json파일이라 이걸 csv파일로 변환 시키고 supabase에 있는 import csv를 사용해서 데이터를 저장하라는 피드백을 받았다

• yarn add fs path 명령어로 변환준비

csv파일을 /scr/csv 경로에 생성하도록 코드를 작성했다

그리고 변환된 파일을 supabase에 업로드해봤는데 다행이 잘 저장된다