mini project

---

🌟 개요 : 서울시 범죄현황 분석
🌟 목표

1. 경찰서별 범죄별 데이터 피봇팅
2. 경찰서명 <> 구별 데이터 정리
3. 범죄 데이터 정규화
4. 상관관계 시각화
5. 지도 시각화

• 데이터 : 서울시 관서별 5대 범죄현황
• 출저 : 공공데이터포털

프로젝트 시작 전 한글 및 마이너스 부호 깨짐현상 세팅

from matplotlib import font_manager as fm
from matplotlib import pyplot as plt

#한글폰트 깨짐 해결
get_ipython().run_line_magic("matplotlib", "inline")
plt.rc('font', family = "Malgun Gothic")

#마이너스부호 깨짐 해결
import matplotlib as mpl
mpl.rcParams['axes.unicode_minus'] = False

관서별 범죄현황 데이터 가공

---

• crime_raw = pd.read_csv("../data/02. crime_in_Seoul.csv",thousands=",",encoding = "euc-kr")
  crime csv파일 불러오기

  thousands = ","
  천단위에서 , 로 구분 (숫자값을 문자값으로 인식할 수 있어서 숫자값으로 나타날 수 있도록 세팅)

• crime_raw.info()
  데이터 개요확인
  
  🧷 RangeIndex: 65534 이나, data는 310
  ->null data 제외필요

• crime_raw["죄종"].unique()
  
  특정컬럼에서 unique조사
  nan값이 포함되어있음

• crime_raw_data = crime_raw[crime_raw["죄종"].notnull()]
  
  null 제외한 데이터만 notnull 메서드를 이용하여 crime_raw_data 변수에 담기

pivot table로 정리

---

crime_station = crime_raw_data.pivot_table(
    index = "구분",
    columns = ["죄종","발생검거"],
    aggfunc= [np.sum]
)
crime_station.head()

pandas multi index 제거

위 데이터프라임의 columns에 중복값인 'sum','건수' 컬럼을 droplevel메서드로 삭제한다.

Google Maps를 이용한 데이터 정리

---

위 과정까지 진행한 가공에서
index는 경찰서 이름으로 되어있고, 경찰서 이름으로 구 이름을 알아내야한다.

import googlemaps
gmaps_key = "googlemaps key값"
gmaps = googlemaps.Client(key = gmaps_key)

google maps 모듈설치

gmaps.geocode("서울영등포경찰서",language="ko") 실행 시

[{'address_components': [{'long_name': '영등포구',
    'short_name': '영등포구',
    'types': ['political', 'sublocality', 'sublocality_level_1']},
   {'long_name': '서울특별시',
    'short_name': '서울특별시',
    'types': ['administrative_area_level_1', 'political']},
   {'long_name': '대한민국',
    'short_name': 'KR',
    'types': ['country', 'political']}],
  'formatted_address': '대한민국 서울특별시 영등포구',
  'geometry': {'bounds': {'northeast': {'lat': 37.556286, 'lng': 126.9498867},
    'southwest': {'lat': 37.4850011, 'lng': 126.8779285}},
   'location': {'lat': 37.5223245, 'lng': 126.9101692},
   'location_type': 'APPROXIMATE',
   'viewport': {'northeast': {'lat': 37.556286, 'lng': 126.9498867},
    'southwest': {'lat': 37.4850011, 'lng': 126.8779285}}},
  'partial_match': True,
  'place_id': 'ChIJk_FAvx2ffDURQAuECsjy0Cw',
  'types': ['political', 'sublocality', 'sublocality_level_1']}]

필요한 정보인 lat lng formatted_address 데이터를 뽑아서 crime_station에 추가해야함.

• crime_station["구별"] = np.nan
crime_station["lat"] = np.nan
crime_station["lng"] = np.nan
  crime_station에 컬럼추가

cnt = 0
for idx, rows in crime_station.iterrows():
    crime_name = "서울" + str(idx) + "경찰서"
    tmp = gmaps.geocode(crime_name,language="ko")

    tmp_gu = tmp[0].get("formatted_address").split()[2]
    tmp_lat = tmp[0].get("geometry")["location"]["lat"]
    tmp_lng = tmp[0].get("geometry")["location"]["lng"]

    crime_station.loc[idx,"lat"] = tmp_lat
    crime_station.loc[idx,"lng"] = tmp_lng
    crime_station.loc[idx,"구별"] = tmp_gu

    print(cnt)
    cnt += 1

데이터 추가

이 과정에서 이미 사라진 경찰서의 경우 데이터가 불러와 지지 않아 crime_station에서 해당 구분(경찰서이름) drop을 이용하여 삭제하였음

tmp = [
    crime_station.columns.get_level_values(0)[n] + crime_station.columns.get_level_values(1)[n]
    for n in range(len(crime_station.columns.get_level_values(0)))
]
tmp

위 데이터 병합란과 하단 컬럼명 합치고

• crime_station.columns = tmp
crime_station.to_csv("../data/02. crime_in_Seoul_raw.csv",sep=",",encoding="utf-8")
  컬럼변 변경 후 csv파일 저장
  

구별로 데이터 정리

---

• crime_anal_station = pd.read_csv("../data/02. crime_in_Seoul_raw.csv", index_col = 0, encoding = "utf-8")
  csv 파일 불러오기

crime_anal_gu = pd.pivot_table(crime_anal_station, index = "구별", aggfunc=np.sum)
del crime_anal_gu["lat"]
crime_anal_gu.drop(["lng"],axis = 1,inplace = True)

crime_anal_gu.head()

pivot table로 구별로 index 변경 후 필요없는 경도 위도 컬럼 삭제

target = ["강간검거율","강도검거율","살인검거율","절도검거율","폭력검거율"]

num = ["강간검거","강도검거","살인검거","절도검거","폭력검거"]
den = ["강간발생","강도발생","살인발생","절도발생","폭력발생"]

crime_anal_gu[target] = crime_anal_gu[num].div(crime_anal_gu[den].values) * 100
crime_anal_gu.head()

각 검거율 컬럼추가

컬럼 나누기
1. 하나의 컬럼을 다른컬럼으로 나누기
crime_anal_gu["강도검거"]/crime_anal_gu["강도발생"]
2. 다수의 컬럼을 다른컬럼으로 나누기
crime_anal_gu[["강도검거","살인검거"]].div(crime_anal_gu["강도발생"],axis = 0)
3. 다수의컬럼을 다수의 컬럼으로 각각 나누기
num = ["강간검거","강도검거","살인검거","절도검거","폭력검거"]
den = ["강간발생","강도발생","살인발생","절도발생","폭력발생"]
crime_anal_gu[num].div(crime_anal_gu[den].values)

• del crime_anal_gu["강간검거"]
del crime_anal_gu["강도검거"]
del crime_anal_gu["살인검거"]
del crime_anal_gu["절도검거"]
del crime_anal_gu["폭력검거"]

필요없는 검거컬럼 삭제

• crime_anal_gu[crime_anal_gu[target] > 100 ] = 100
  100보다 큰 데이터 100으로 변경
  

• crime_anal_gu.rename( columns={"강간발생" : "강간","강도발생" : "강도","살인발생" : "살인","절도발생" : "절도","폭력발생" : "폭력"}, inplace = True )
  컬럼이름변경
  

데이터 최종정리

---

• col = ["강간","강도","살인","절도","폭력"]
crime_anal_norm = crime_anal_gu[col] / crime_anal_gu[col].max()
  정규화 : 최고값은 1 최소값은 0
  

• col2 = ["강간검거율","강도검거율","살인검거율","절도검거율","폭력검거율"]
crime_anal_norm[col2] = crime_anal_gu[col2]
  crime_anal_gu의 검거율 컬럼 crime_anal_norm에 추가
  

• result_CCTV = pd.read_csv("../data/01. CCTV_result.csv",index_col = "구별", encoding= "utf-8")
crime_anal_norm[["인구수","CCTV"]] = result_CCTV[["인구수","소계"]]
  구별 CCTV 자료에서 인구수 와 CCTV수 추가
  

• col = ["강간","강도","살인","절도","폭력"]
crime_anal_norm["범죄"] = np.mean(crime_anal_norm[col], axis = 1)
  각 구별 범죄 평균값 컬럼 추가
  

• col2 = ["강간검거율","강도검거율","살인검거율","절도검거율","폭력검거율"]
crime_anal_norm["검거"] = np.mean(crime_anal_norm[col2],axis = 1)
  각 구별 검거율 평균값 컬럼 추가
  

np.mean평균값

np.mean(
    np.array(
        [[1.000000,1.000000,0.357143,0.977118,0.733773],
         [0.310078,0.358974,0.285714,0.477799,0.463880]]
    ) , axis = 1 #axis = 0 열 axis = 1 행 (drop이랑 반대)
       )

데이터 시각화

---

pairplot

1. 강도, 살인, 폭력에 대한 상관관계 확인

sns.pairplot(data=crime_anal_norm, 
             vars = ["살인","강도","폭력"], 
             kind = "reg", 
             height = 3)

2. 인구수, CCTV와 살인, 강도의 상관관계 확인

def drawGraph() :
    sns.pairplot(data = crime_anal_norm,
                x_vars = ["인구수","CCTV"],
                 y_vars = ["살인","강도"],
                 kind = "reg",
                 height = 4
                )
    plt.show()

drawGraph()

3. 인구수 cctv와 살인검거율, 폭력검거율의 상관관계확인

def drawGraph() :
    sns.pairplot(data = crime_anal_norm,
                x_vars = ["인구수","CCTV"],
                 y_vars = ["살인검거율","폭력검거율"],
                 kind = "reg",
                 height = 4
                )
    plt.show()

drawGraph()

4. 인구수 cctv와 절도검거율, 강도검거율의 상관관계확인

def drawGraph() :
    sns.pairplot(data = crime_anal_norm,
                x_vars = ["인구수","CCTV"],
                 y_vars = ["절도검거율","강도검거율"],
                 kind = "reg",
                 height = 4
                )
    plt.show()

drawGraph()

heatmap

1. 검거율 heatmap

def drawGraph ():

    #데이터프레임 생성

    target_column = ["강간검거율", "강도검거율", "살인검거율", "절도검거율", "폭력검거율"]
    crime_anal_norm_sort = crime_anal_norm.sort_values(by = "검거", ascending = False) #내림차순
    
    # 그래프 생성
    plt.figure(figsize=(10,10))
    sns.heatmap(
        data = crime_anal_norm_sort[target_column],
        annot= True, #데이터값 표현
        fmt = "f",  #실수로표현
        linewidths=5, # 간격설정
        cmap = "RdPu"
    )
    plt.title("범죄검거비율 (정규화된 검거의 합으로 정렬)")
    plt.show()

drawGraph()

2. 범죄발생건수 heatmap

def drawGraph ():

    #데이터프레임 생성

    target_column = ["강간", "강도", "살인", "절도", "폭력"]
    crime_anal_norm_sort = crime_anal_norm.sort_values(by = "범죄", ascending = False) #내림차순
    
    # 그래프 생성
    plt.figure(figsize=(10,10))
    sns.heatmap(
        data = crime_anal_norm_sort[target_column],
        annot= True, #데이터값 표현
        fmt = "f",  #실수로표현
        linewidths=5, # 간격설정
        cmap = "RdPu"
    )
    plt.title("범죄 비율 (정규화된 검거의 합으로 정렬)")
    plt.show()

drawGraph()

지도시각화

---

---

Zero Base 데이터분석 스쿨

Daily Study Note