User Agent : HTTP 요청 에러가 있는 경우 요청을 보낸 사용자 환경을 확인하고자 할 때 사용함
-> 웹 스크래핑, 크롤링을 할려고 하는 경우, 사용자가 아닌 컴퓨터가 하기 때문에 사이트 입장에서는 정보를 뺏길 우려가 있어서 접속을 차단하게 됨.
-> 크롬이나 익스플로우에서는 잘 접속되는 사이트가 requests를 통해서는 오류가 뜨는 경우 user agent를 활용하여 해결할 수 있음.
User Agent 활용법
브라우저에 "User Agent String"를 치면 아래 사이트가 나옴
https://www.whatismybrowser.com/detect/what-is-my-user-agent/
이 사이트에 접속하여 자신의 User Agent를 복사한 후 웹 크롤링할 py파일에 아래와 같은 코드를 추가하면 됨.
headers = {"User-Agent" : "복사한 User Agent"}그 후 requests.get("url", headers = headers) 를 하면 요청 에러 없이 잘 작동하는 것을 볼 수 있음.
전체 코드
import requests
url = "원하는 주소"
headers = {"User-Agent" : "복사한 User Agent"}
res = requests.get(url, headers = headers)
res.raise_for_status()
with open("원하는 파일명.html", "w", encoding="utf-8") as f:
f.write(res.text)