HTTP 요청 주고받기 - Requests

---

request 라이브러리

requests는 Python을 이용해서 간단히 HTTP 통신을 진행할 수 있는 라이브러리입니다.

• GET : 정보를 달라고 요청한다.

import requests

res = requests.get("https://www.naver.com")
res #http 응답이 담겨있음

• POST : 정보 갱신을 요청한다.

pay_load = {"name": "Hello", "age": 113}
requests.post("URL주소", pay_load)

웹 스크래핑: 특정한 목적으로 특정 웹 페이지에서 데이터를 추출하는 것

웹 크롤링: URL을 타고다니며 반복적으로 데이터를 가져오는 과정

robots.txt는 웹사이트에 웹 크롤러같은 로봇들의 접근을 제어하기 위한 규약이다

import requests

res = requests.get("http://www.naver.com/robots.txt")
import requests

User-agent : 규칙이 적용되는 대상 사용자 에이전트

Disallow : 크롤링을 금지할 웹페이지

Allow : 크롤링을 허용할 웹 페이지

---

💡웹스크래핑과 웹 크롤링의 차이, 그리고 크롤링 할 때의 제한을 확인 할 수 있는 방법을 배웠다.