mini project

---

🌟 목표 | 서울시 지역별, 브랜드별 주유가격 분석 및 시각화
🌟 크롤링 출처

• https://www.opinet.co.kr/user/main/mainView.do

1. 데이터크롤링

---

목표데이터

• 서울시 각 구별 데이터(브랜드, 가격, 셀프 주유여부, 위치) 엑셀파일

from selenium import webdriver

• selenium 설치

지역 - 시 접근

---

url = "https://www.opinet.co.kr/searRgSelect.do"
driver = webdriver.Chrome("../driver/chromedriver.exe")
driver.get(url)

• 페이지 접근
  

from selenium.webdriver.common.by import By


sido_list_raw = driver.find_element(By.ID, "SIDO_NM0")

• 시도 선택 HTML 란 접근
  

sido_list = sido_list_raw.find_elements(By.TAG_NAME,"option")

• 시도 옵션란 접근

sido_names = []

for option in sido_list :
    sido_names.append(option.get_attribute("value"))

• text와 value 값이 다르므로 get_attribute를 이용해 value값을 가져와 sido_name 리스트에 append

sido_names = sido_names[1:]

• 시도의 value값이 공란이므로 슬라이싱으로 잘라줌

sido_list_raw.send_keys(sido_names[0])

• 서울특별시에 해당하는 sido_names[0] 값 입력
  

지역 - 구 접근

---

gu_list_raw = driver.find_element(By.ID, "SIGUNGU_NM0") #부모태그
gu_list = gu_list_raw.find_elements(By.TAG_NAME,"option") #자식태그
gu_name = [(option.text) for option in gu_list ]
gu_name = gu_name[1:]

• 구의 경우 option의 text와 value가 동일하므로 get_attrubute를 따로 사용하지 않고 리스트에 담음

# 서울 25개 구 주유소 데이터 다운로드
import time
from tqdm import tqdm_notebook

for gu in tqdm_notebook(gu_name) :
	# 구 이름 보내기
    driver.find_element(By.ID, "SIGUNGU_NM0").send_keys(gu)
    time.sleep(2)

   # 엑셀 다운란 클릭
	driver.find_element(By.ID,"glopopd_excel").click()
    time.sleep(2)

• 구 이름 보내기 -> 엑셀다운
  서울 시 전 구에 대한 데이터수집
  

driver.close()

• 창 닫기

2. 데이터정리

---

목표
크롤링으로 다운로드 받은 데이터 한 Data Frame에 정리

import pandas as pd
from glob import glob

stations_files = glob("../data/지역_*.xls")

• 파일 목록 한번에 가져와서 변수에 저장

tmp_raw = []

for file in stations_files :
    tmp = pd.read_excel(file, header=2)
    tmp_raw.append(tmp)

tmp_raw

• for문으로 파일 하나하나 excel로 불러온 후 tmp_raw에 리스트형태로 담기

station_raw = pd.concat(tmp_raw)

• concat으로 Data Frame 형태로 붙히기

🌟 concat : 형식이 동일하고 연달아 붙이기만 할 때 사용

➡️ index번호 reset 필요

station = pd.DataFrame({
    "상호" : station_raw["상호"],
    "주소" : station_raw["주소"],
    "가격" : station_raw["휘발유"],
    "셀프" : station_raw["셀프여부"],
    "상표" : station_raw["상표"]
})

• 필요데이터만 station에 담기
  
  

station["구"] = [ each_address.split()[1] for each_address in station["주소"]]

• 주소에서 split으로 자른 후 구에 해당하는 정보만 "구" 컬럼 생성 후 담기

station = station[station["가격"] != "-"]

• 가격없는 주유소 삭제

station["가격"] = station["가격"].astype("float")

• 가격데이터 float형태로 변경

station.reset_index(inplace=True)
del station["index"]

• 인덱스 재정비
  

3. 데이터 시각화

---

from matplotlib import font_manager as fm
from matplotlib import pyplot as plt

#한글폰트 깨짐 해결
get_ipython().run_line_magic("matplotlib", "inline")
plt.rc('font', family = "Malgun Gothic")

#마이너스부호 깨짐 해결
import matplotlib as mpl
mpl.rcParams['axes.unicode_minus'] = False

• 한글 깨짐 현상 해결

- 셀프 주유소와 일반 주유소 가격차이 ver/pandas

station.boxplot(column="가격", by = "셀프", figsize=(12,8))

- 셀프 주유소와 일반 주유소 가격차이 ver/seaborn

plt.figure(figsize=(12,8))
sns.boxplot( x = "셀프" , y = "가격", data = station, palette= "Set3" )

- 메이커별 셀프 주유소와 일반 주유소 가격차이

plt.figure(figsize=(12,8))
sns.boxplot( x= "상표", y = "가격", hue = "셀프", data=station, palette = "Set3" )

- 구별 가격 지도시각화

gu_data = pd.pivot_table ( data=station, index="구", values="가격", aggfunc=np.mean )

• 데이터 구별 피봇팅

geo_path = "../data/02. skorea_municipalities_geo_simple.json"
geo_str = json.load(open(geo_path,encoding="utf-8"))

my_map = folium.Map(location=[37.5502,126.982], zoom_start=10, tiles="CartoDB Positron")
folium.Choropleth(
    geo_data = geo_str,
    data = gu_data,
    columns = [gu_data.index, "가격"],
    key_on = "feature.id",
    fill_color = "PuRd"
).add_to(my_map)

my_map

전체코드

---

Zero Base 데이터분석 스쿨

Daily Study Note