Python_웹스크래퍼만들기

인스타그램 백엔드는 python 으로 만들어져 있다.
인공지능 역시 python 으로 만들어졌다. (model 학습 등등)
금융에서 trading 같은 것도 가능하다.
과학 분석, 통계 등등 데이터의 시각적 처리도 python으로 한다.
생태계가 정말 크고 다양하다.

python은 정말 많은 것들을 할 수 있다.
python 의 세계로 들어오면 다양한 것을 할 수 있다는 것이다.

간단 문법 짚고 넘어가기1

websites = ("google.com", "airbnb.com", "https://twitter.com", "facebook.com",
            "https://tiktok.com")

for website in websites:
  if not website.startswith('https://'):
     # 이게 바로 변수 넣는 법
    website = f"https://{website}"
    print(website)

# string 에 이렇게 변수를 넣을 수 있다.
    

간단 문법 짚고 넘어가기2

아무것도 설치하지 않고 사용할 수 있는!!

파이썬 내장 라이브러리: https://docs.python.org/3/library/index.html

pypi

거의 모든 300,000 개 이상의 프로젝트를 찾을 수 있다.

https://pypi.org/

그중에 하나를 사용해 보자

• requests
  python 코드에서 웹사이트로 request 보내는 것을 할 수 있게 해주는 라이브러리 이다.

from requests import get #ㅎget 은 function이다

websites = ('google.com', 'airbnb.com', 'https://twitter.com')

for website in websites: #status 코드 확인
  if not website.startswith('https://'):
    website = f"https://{website}"
    response = get(website)
    print(response.status_code)
 # 웹사이트가 성공적으로 응답함을 알 수 있다.