Data Scraping

본 내용은 빅데이터 파이프라인 마스터; 성공을 위한 도구와 기술 강의를 들으며 실습하는 과정을 기록했습니다.

1. 요약

1. 여러 지역의 RSS에서
   

2. 노란색 밑줄 정보를 가져올 것 city, tmEf, wf
   
   
   
   

2. 실습

vim 2_weather.py

간단 vim 복습
yy 행 복사
v 비주얼모드에서 커서 옮긴 후
y 복사
p 붙여넣기

#!/usr/bin/env python3

import requests
from bs4 import BeautifulSoup

def main():
    url = "http://www.kma.go.kr/weather/forecast/mid-term-rss3.jsp"
    res = requests.get(url)

    soup = BeautifulSoup(res.text)
    locations = soup.find_all("location")

    for location in locations:
        city = location.find("city").text
        date = location.find("data").find("tmef").text
        weather = location.find("data").find("wf").text

        print(f"[ {date} ] {city} : {weather}")

if __name__ == "__main__":
    main()

python3 2_weather.py

2.1 패키지 설치

requests가 안깔려있으니 설치

bs4 도 설치 후

python3 2_weather.py

다시 파이썬 파일 실행해보면 잘 가져온걸 볼 수 있다

<실습 목표와 비교>