웹 자동화 프로그램 만들기 13 - 봇 인식 우회 시 고려할 사항들

하이루·2022년 8월 1일
0

1. 랜덤 IP로 크롤링

--> Tor 브라우저 사용

https://velog.io/@odesay97/%EC%9B%B9-%EC%9E%90%EB%8F%99%ED%99%94-%ED%94%84%EB%A1%9C%EA%B7%B8%EB%9E%A8-%EB%A7%8C%EB%93%A4%EA%B8%B0-12-tor%EB%B8%8C%EB%9D%BC%EC%9A%B0%EC%A0%80-Selenium%EC%97%90%EC%84%9C-%EC%82%AC%EC%9A%A9

2. user-agent설정

    options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.75 Safari/537.36")
    options.add_argument("app-version=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.75 Safari/537.36")

--> Chromedriver의 경우 user-agent가 bot로 나와서 웹사이트에 걸리는 경우도 있음
-> 이 경우 user-agent를 위와 같이 형식지정하면

3. Referer 설정

사이트 이동에 대한 데이터

--> 사이트에서 사이트로 이동할 때 쌓임
이게 없이 바로 들어오는 경우 bot으로 인정하는 경우도 있음

  1. 실제 유저들이 들어오는 것처럼 검색엔진 및 사이트 타고 이동하는 방법

  2. 크롬 연결 프로그램 사용하는 방법 -> Referer Control
    https://chrome.google.com/webstore/detail/referer-control/hnkcfpcejkafcihlgbojoidoihckciin?hl=ko

profile
ㅎㅎ

0개의 댓글