크롤링으로 로그인 시도하면서 까먹지않기 위해 블로그에 적어둔다.
크롤링한 사이트 : 일본의 약기법 검사 사이트인 kikairyobun
환경 : MacOS Ventura

1. 개발자 도구 분석

1) 크롬창에 개발자 도구 세팅하기

Network에서 Preserve log, Disable cache 체크해두기!

2) 브라우저 접속 기록 살펴보기

개발자 도구를 켜놓고 원하는 기능을 실행하면,

위와 같았던 화면이 아래처럼 변한다.

필자는 헷갈리지 않게 원하는 기능 실행하기 직전에 개발자 도구를 켠다.
(빈 창에서 무엇이 추가되었는지 구분하는게 더 쉽기 때문이다.)

3) cURL 복사하기

새로 뜬 창의 Preview를 클릭하면 아래의 사진과 같이 원하는 정보가 있는 페이지가 있을 것이다.

그 페이지를 마우스 오른쪽으로 클릭하면 copy가 뜬다.
거기서 Copy as cURL을 클릭하면 자동으로 복사가 된다.

2. cURL converter 사이트

복사 후, cURL converter 사이트 에 들어가서 복사한 cURL을 붙여넣고 원하는 언어를 클릭하면 원하는 정보를 크롤링할 수 있는 코드가 나온다.

3. 확인하기

정보가 잘 가져와졌다면

response 200이 뜬다.

가져온 정보를 확인하려면, 아래의 코드를 입력하면 된다.

data = response.json()
print(data)

여기서 원하는 정보만 가져오려면, json 형식의 출력물에서 원하는 컬럼만 불러오면 된다.

data['options']

끝!