[+α] Web Scraping

Requests

requests.get("url"): url의 정보를 가져옴
.raise_for_status(): 올바른 정보를 가져오지 못했을 때 에러 발생 및 프로그램 종료

import requests

# url에서 정보를 불러오고
response = requests.get("http://naver.com")

# 잘 불러왔는지 확인
response.raise_for_status()	

# url에서 불러온 정보 확인 - text로 불러오면 너무 많아 len()으로 글자수만 확인
print(len(response.text)

response.text로 불러온 정보 파일로 만들어 확인하기

with open("파일명.html", "w", encoding = "utf8") as a:
	a.write(response.text)

정규식 (Regular Expression)

: 문자열의 일정한 패턴을 표현하는 언어
eg) 주민등록번호, 이메일 주소, 차량번호 ... etc