Python HTTP Clients: HTTP 요청과 응답 처리
웹 개발 및 데이터 분석을 할 때, HTTP 요청을 보내고 응답을 처리하는 것은 매우 중요한 과정입니다. Python에서는 다양한 HTTP 클라이언트 라이브러리를 사용하여 서버와 데이터를 주고받을 수 있습니다. 이번 글에서는 Python의 주요 HTTP 라이브러리와 그 사용법을 정리하겠습니다.
1. Python에서 HTTP 요청 보내기
Python에서는 HTTP 또는 HTTPS 프로토콜을 사용하여 데이터를 송수신할 수 있습니다. 이 과정에서 주로 웹 스크래핑, API 호출, 웹 서비스 통신 등의 용도로 HTTP 요청을 보냅니다.
주요 라이브러리
1.1 requests
- 사용하기 간편하며 다양한 HTTP 메서드를 지원합니다.
- 복잡한 HTTP 작업도 간단하게 수행할 수 있습니다.
1.2 urllib
- Python 표준 라이브러리에 포함된 HTTP 요청 모듈입니다.
- API가 다소 복잡하며 여러 모듈로 나뉘어져 있습니다.
1.3 http.client
- Python 표준 라이브러리에 포함된 저수준 HTTP 모듈입니다.
- 높은 수준의 커스터마이징이 가능하지만 사용법이 복잡합니다.
2. requests 라이브러리 사용법
2.1 기본적인 request 메서드 사용
import requests
req = requests.request('GET', 'https://httpbin.org/get')
print(req.status_code)
print(req.text)method: HTTP 메서드 (GET,POST,PUT,DELETE등)url: 요청을 보낼 대상 URLparams: (선택 사항) URL의 쿼리 문자열을 위한 딕셔너리data: (선택 사항) 요청 본문에 포함할 데이터json: (선택 사항) JSON 데이터 전송 시 사용headers: (선택 사항) HTTP 헤더 포함
2.2 GET 요청 보내기
import requests
response = requests.get('https://httpbin.org/get', params={'key': 'value'})
print(response.json())params를 이용해 쿼리 스트링을 추가할 수 있습니다.
3. HTTP 응답(Response) 속성
HTTP 요청을 보낸 후에는 서버로부터 응답을 받게 됩니다. requests 라이브러리는 응답 데이터를 다양한 속성으로 제공하여 쉽게 활용할 수 있습니다.
3.1 응답 데이터 속성
content: 바이트 단위로 응답 데이터를 반환text: 응답 데이터를 유니코드 문자열로 변환json(): JSON 형식의 응답 데이터를 파싱
3.2 상태 코드 확인
import requests
response = requests.get('https://httpbin.org/status/200')
print(response.status_code) # 200status_code: HTTP 응답 상태 코드 (예:200 OK,404 Not Found등)reason: 응답 상태 메시지 (예: "OK", "Not Found" 등)
3.3 응답 헤더 확인
print(response.headers)headers: 응답 헤더를 딕셔너리 형태로 반환
4. POST 요청 보내기
POST 요청을 사용하면 데이터를 서버로 전송할 수 있습니다.
import requests
payload = {'username': 'test', 'password': '1234'}
response = requests.post('https://httpbin.org/post', data=payload)
print(response.json())data: 요청 본문에 포함할 데이터를 전달
5. 오류 처리 및 예외 처리
HTTP 요청 시 예상치 못한 오류가 발생할 수 있으므로 예외 처리를 적용하는 것이 중요합니다.
import requests
try:
response = requests.get('https://httpbin.org/status/404')
response.raise_for_status() # 상태 코드가 400 이상이면 예외 발생
except requests.exceptions.HTTPError as err:
print(f'HTTP 오류 발생: {err}')
except requests.exceptions.RequestException as err:
print(f'요청 오류 발생: {err}')raise_for_status(): HTTP 오류가 발생하면 예외를 발생시킴
6. 결론
Python에서 HTTP 요청을 보낼 때 requests 라이브러리는 가장 많이 사용되는 간편한 도구입니다.
- 간단한 API 호출에는
requests를 활용하면 좋습니다. - 기본 라이브러리를 활용하려면
urllib이나http.client를 사용할 수 있습니다. - 오류 처리를 통해 보다 안정적인 HTTP 요청을 보낼 수 있습니다.
Python의 HTTP 클라이언트를 활용하여 데이터를 효율적으로 주고받는 방법을 익히면, 웹 개발과 데이터 분석에 유용하게 활용할 수 있습니다.
