📌유가 분석 예제
"셀프 주유소가 정말 저렴하나요?"에 대한 답변을 하기 위해 예제를 해결해보자.
- https://www.opinet.co.kr/searRgSelect.do
- 사이트 구조 확인
- 목표 데이터
- 브랜드
- 가격
- 셀프 주유 여부
- 위치
📌selenium 사용 이유
앞선 영화 예제에서는 원하는 데이터가 필요한 공간의 url 주소가 변경되었다.
하지만 오늘 할 예제는 url 주소가 바뀌지 않아 해당 주소값에 원하는 데이터가 없을 확률이 높다. 따라서 직접 버튼을 눌러 원하는 데이터에 접근해야한다. -> selenium 사용
📌사이트 구조 확인
- 크롬 개발자 도구 켜기
방법 1: 오른쪽 상단 점 세개 -> 도구 더보기 -> 개발자 도구
방법 2: 오른쪽 마우스 클릭 -> 검사
방법 3: Ctrl + Shift + i
- 웹 사이트 구조 분석
클릭해야할 데이터의 태그들을 확인해보자.
지역에 시/도, 시/군/구, 읍/면/동의 태그를 확인해봤을때 id값으로 되어있음을 확인 할 수 있다. 따라서 id는 1개만 존재하기 때문에 접근하기가 쉽다.
📍찾아야 하는 데이터
원하는 도/시/군을 이동해 엑셀 저장을 누르면 원하는 데이터의 엑셀 파일이 저장된다.
📌selenium으로 데이터 가져오기
from selenium import webdriver- 페이지 접근(문제 발생)
url = "https://www.opinet.co.kr/searRgSelect.do"
driver = webdriver.Chrome("../driver/chromedriver.exe")
driver.get(url)
기대했던 페이지와 다르게 메인 화면이 나오고 팝업창까지 나온다.
driver.get(url)한번 더 입력하면 원하는 페이지가 나온다.
- 문제점
- 해당 URL로 한 번에 접근이 안된다.
- 메인페이지로 접속이 되고, 팝업창이 하나 나온다.
- 페이지 접근 자동화(문제 해결)
import time
from selenium.webdriver.common.by import By
# 페이지 접근
url = "https://www.opinet.co.kr/searRgSelect.do"
driver = webdriver.Chrome("../driver/chromedriver.exe")
driver.get(url)
time.sleep(3)
# 팝업창 화면 전환
driver.switch_to_window(driver.window_handles[-1])
# 팝업창 닫아주기
driver.close()
# 메인화면 창으로 전환
driver.switch_to_window(driver.window_handles[-1])
# 접근 URL 다시 요청
driver.get(url)📍지역(시/도)
sido_list_raw = driver.find_element(By.ID, "SIDO_NM0")
sido_list_raw.text
sido_list = sido_list_raw.find_elements(By.TAG_NAME, "option")
len(sido_list), sido_list[1].text
sido_list[1].get_attribute("value")
sido_names = [option.get_attribute("value") for option in sido_list]
sido_names = sido_names[1:]
sido_names
- 시/도 옵션 변경하기
sido_list_raw.send_keys(sido_names[16])
📍시/군/구
# 시/군/구
gu_list_raw = driver.find_element_by_id("SIGUNGU_NM0") # 부모 태그
gu_list = gu_list_raw.find_elements_by_tag_name("option") # 자식 태그
gu_names = [option.get_attribute("value") for option in gu_list]
gu_names = gu_names[1:]
gu_names[:5], len(gu_names)
📍엑셀 저장
✔️방법 1
driver.find_element_by_css_selector("#glopopd_excel").click()✔️방법 2
driver.find_element_by_xpath('//*[@id="glopopd_excel"]').click()✔️방법 3
element_get_excel = driver.find_element_by_id("glopopd_excel")
element_get_excel.click()
💡서울(구) 유가 엑셀 다운받기
import time
from tqdm import tqdm_notebook
for gu in tqdm_notebook(gu_names):
element = driver.find_element_by_id("SIGUNGU_NM0")
element.send_keys(gu)
time.sleep(3)
element_get_excel = driver.find_element_by_xpath('//*[@id="glopopd_excel"]').click()
time.sleep(3)
📌주유소 가격 정보 정리
📍엑셀 파일 가져오기
importort pandas as pd
from glob import glob- glob 설치
# !pip install glob- 파일 목록 한 번에 가져오기
# 파일 목록 한 번에 가져오기
glob("../data/지역_*.xls")
- 파일명 저장
stations_files = glob("../data/지역_*.xls")
stations_files[:5]
- 하나만 읽어보기
tmp = pd.read_excel(stations_files[0])
tmp.tail(2)
엑셀파일에 1,2번째 행에는 내용이 없기 때문에 header=2 해줘야 컬럼 이름이 제대로 들어간다.
tmp = pd.read_excel(stations_files[0], header=2)
tmp.tail(2)- 모든 데이터 파일 합치기
tmp_raw = []
for file_name in stations_files:
tmp = pd.read_excel(file_name, header=2)
tmp_raw.append(tmp)
stations_raw
- 나중에 수정할 것
인덱스가 0-441이 아닌 0-n개가 반복되고 있음을 알 수 있다.
뒤에서 인덱스 정리를 해야함을 알고 가면 된다.
📍DataFrame 생성
stations = pd.DataFrame({
"상호": stations_raw["상호"],
"주소": stations_raw["주소"],
"가격": stations_raw["휘발유"],
"셀프": stations_raw["셀프여부"],
"상표": stations_raw["상표"],
})
stations
- 구 컬럼 생성
for eachAddress in stations["주소"]:
print(eachAddress.split()[1])
stations["구"] = [eachAddress.split()[1] for eachAddress in stations["주소"]]
- 구 확인
- 가격 데이터형 변환(object -> float)
강의 상 휘발유 가격이 object로 되어있었는데 실제 데이터에서는 int로 되어있어서 바로 변환 가능했다.
stations["가격"] = stations["가격"].astype("float")
stations
- 만약 휘발유 가격에 '-'가 포함되어 object였다면 다음과 같이 가격 정보가 있는 주유소만 사용하면 된다.
# 가격 정보가 있는 주유소만 사용
stations = stations[stations["가격"] != "-"]- 인덱스 재정렬
stations.reset_index(inplace=True)
stations.tail()
del stations["index"]
stations.head()
📌주유 가격 시각화
import matplotlib.pyplot as plt
import seaborn as sns
import platform
from matplotlib import font_manager, rc
get_ipython().run_line_magic("matplotlib", "inline")
path="C:/Windows/Fonts/malgun.ttf"
if platform.system() == "Darwin":
rc("font", family="Arial Unicode MS")
elif platform.system() == "Windows":
font_name = font_manager.FontProperties(fname=path).get_name()
rc("font", family=font_name)
else:
print("Unknown system. sorry~")📍boxplot
✔️방법 1 - pandas
# boxplot(feat. pandas)
stations.boxplot(column='가격', by="셀프", figsize=(12, 8))
✔️방법 2 - seaborn
# boxlot(feat. seaborn)
plt.figure(figsize=(12, 8))
sns.boxplot(x="셀프", y="가격", data=stations, palette="Set3")
plt.grid(True)
plt.show()
palette 설정을 해줘서 색상이 들어갔다.
# boxlot(feat. seaborn)
plt.figure(figsize=(12, 8))
sns.boxplot(x="상표", y="가격", hue="셀프", data=stations, palette="Set3") # hue 구분 기준
plt.grid(True)
plt.show()
셀프가 일반보다 싸다는 것을 알 수 있다.
📍지도 시각화
import json
import folium
import warnings
warnings.simplefilter(action="ignore", category=FutureWarning) # 경고가 나오면 무시📍지도 시각화를 위한 데이터 정리
- 가장 비싼 주유소 10개
stations.sort_values(by="가격", ascending=False).head(10)
- 가장 값싼 주유소 10개
stations.sort_values(by="가격", ascending=True).head(10)
- 구별 가격 평균
import numpy as np
gu_data = pd.pivot_table(data=stations, index="구", values="가격", aggfunc=np.mean)
gu_data.head()
📍지도 시각화
geo_path = "../data/02. skorea_municipalities_geo_simple.json"
geo_str = json.load(open(geo_path, encoding="utf-8"))
my_map = folium.Map(location=[37.5502, 126.982], zoom_start=10.5, tiles="Stamen Toner")
my_map
geo_path = "../data/02. skorea_municipalities_geo_simple.json"
geo_str = json.load(open(geo_path, encoding="utf-8"))
my_map = folium.Map(location=[37.5502, 126.982], zoom_start=10.5, tiles="Stamen Toner")
my_map.choropleth(
geo_data=geo_str,
data=gu_data,
columns=[gu_data.index, "가격"],
key_on="feature.id",
fill_color="PuRd",
)
my_map
"이 글은 제로베이스 데이터 취업 스쿨 강의를 듣고 작성한 내용으로 제로베이스 데이터 취업 스쿨 강의 자료 일부를 발췌한 내용이 포함되어 있습니다."
