프로젝트 2 - 서울시 범죄현황 데이터 (2)

💡Pandas에 잘 맞춰진 반복문용 명령 iterrows()

• pandas 데이터 프레임은 대부분 2차원, 이럴 때 for문 사용하면 n번째라는 지정을 반복해서 가독률이 떨어짐
• Pandas 데이터프레임으로 반복문 만들때 iterrow()옵션 사용하면 편하다.
• 받을 때, 인덱스와 내용으로 나누어 받는 것만 주의

6. Google Maps를 시용한 데이터 정리

import googlemaps

gmaps_key = "AIzaSyCB3zeKUulnVUj_yDjKqaqoqVsF0MGvx_o"
gmaps = googlemaps.Client(key=gmaps_key)

gmaps.geocode("서울영등포경찰서", language="ko")

[{'address_components': [{'long_name': '６０８',
    'short_name': '６０８',
    'types': ['premise']},
   {'long_name': '국회대로',
    'short_name': '국회대로',
    'types': ['political', 'sublocality', 'sublocality_level_4']},
   {'long_name': '영등포구',
    'short_name': '영등포구',
    'types': ['political', 'sublocality', 'sublocality_level_1']},
   {'long_name': '서울특별시',
    'short_name': '서울특별시',
    'types': ['administrative_area_level_1', 'political']},
   {'long_name': '대한민국',
    'short_name': 'KR',
    'types': ['country', 'political']},
   {'long_name': '150-043',
    'short_name': '150-043',
    'types': ['postal_code']}],
  'formatted_address': '대한민국 서울특별시 영등포구 국회대로 608',
  'geometry': {'location': {'lat': 37.5260441, 'lng': 126.9008091},
   'location_type': 'ROOFTOP',
   'viewport': {'northeast': {'lat': 37.5273930802915,
     'lng': 126.9021580802915},
    'southwest': {'lat': 37.5246951197085, 'lng': 126.8994601197085}}},
  'partial_match': True,
  'place_id': 'ChIJ1TimJLaffDURptXOs0Tj6sY',
  'plus_code': {'compound_code': 'GWG2+C8 대한민국 서울특별시',
   'global_code': '8Q98GWG2+C8'},
  'types': ['establishment', 'point_of_interest', 'police']}]

tmp = gmaps.geocode("서울영등포경찰서", language="ko")

len(tmp)

1

tmp[0]

{'address_components': [{'long_name': '６０８',
   'short_name': '６０８',
   'types': ['premise']},
  {'long_name': '국회대로',
   'short_name': '국회대로',
   'types': ['political', 'sublocality', 'sublocality_level_4']},
  {'long_name': '영등포구',
   'short_name': '영등포구',
   'types': ['political', 'sublocality', 'sublocality_level_1']},
  {'long_name': '서울특별시',
   'short_name': '서울특별시',
   'types': ['administrative_area_level_1', 'political']},
  {'long_name': '대한민국', 'short_name': 'KR', 'types': ['country', 'political']},
  {'long_name': '150-043', 'short_name': '150-043', 'types': ['postal_code']}],
 'formatted_address': '대한민국 서울특별시 영등포구 국회대로 608',
 'geometry': {'location': {'lat': 37.5260441, 'lng': 126.9008091},
  'location_type': 'ROOFTOP',
  'viewport': {'northeast': {'lat': 37.5273930802915,
    'lng': 126.9021580802915},
   'southwest': {'lat': 37.5246951197085, 'lng': 126.8994601197085}}},
 'partial_match': True,
 'place_id': 'ChIJ1TimJLaffDURptXOs0Tj6sY',
 'plus_code': {'compound_code': 'GWG2+C8 대한민국 서울특별시',
  'global_code': '8Q98GWG2+C8'},
 'types': ['establishment', 'point_of_interest', 'police']}

print(tmp[0].get("geometry")["location"]["lat"])
print(tmp[0].get("geometry")["location"]["lng"])

37.5260441
126.9008091

tmp[0].get("formatted_address")

'대한민국 서울특별시 영등포구 국회대로 608'

tmp[0].get("formatted_address").split()

['대한민국', '서울특별시', '영등포구', '국회대로', '608']

tmp[0].get("formatted_address").split()[2]

'영등포구'

crime_station.head()

• 구별, lat, lng 컬럼 추가

crime_station["구별"] = np.nan
crime_station["lat"] = np.nan
crime_station["lng"] = np.nan

crime_station.head()

• 경찰서 이름에서 소속된 구 이름 얻기
• 구이름과 위도, 경도 정보를 저장할 준비
• 반복문 이용해서 위 표의 NaN을 모두 채워준다.
• iterrows()

for idx, rows in crime_station.iterrows():
    print(idx)

강남
강동
강북
강서
관악
광진
구로
금천
남대문
노원
도봉
동대문
동작
마포
방배
서대문
서부
서초
성동
성북
송파
수서
양천
영등포
용산
은평
종로
종암
중랑
중부
혜화

for idx, rows in crime_station.iterrows():
    station_name = "서울" + str(idx) + "경찰서"
    print(station_name)

서울강남경찰서
서울강동경찰서
서울강북경찰서
서울강서경찰서
서울관악경찰서
서울광진경찰서
서울구로경찰서
서울금천경찰서
서울남대문경찰서
서울노원경찰서
서울도봉경찰서
서울동대문경찰서
서울동작경찰서
서울마포경찰서
서울방배경찰서
서울서대문경찰서
서울서부경찰서
서울서초경찰서
서울성동경찰서
서울성북경찰서
서울송파경찰서
서울수서경찰서
서울양천경찰서
서울영등포경찰서
서울용산경찰서
서울은평경찰서
서울종로경찰서
서울종암경찰서
서울중랑경찰서
서울중부경찰서
서울혜화경찰서

count = 0   #잘 작동하는지 확인
for idx, rows in crime_station.iterrows():
    station_name = "서울" + str(idx) + "경찰서"
    tmp = gmaps.geocode(station_name, language = "ko")
    
    tmp[0].get("formatted_address")
    tmp_gu = tmp[0].get("formatted_address")
    
    lat = tmp[0].get("geometry")["location"]["lat"]
    lng = tmp[0].get("geometry")["location"]["lng"]
    
    crime_station.loc[idx, "lat"] = lat
    crime_station.loc[idx, "lng"] = lng
    crime_station.loc[idx, "구별"] = tmp_gu.split()[2]
    
    print(count)
    count += 1

0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

crime_station.head()  #구별, lat, lng 데이터 채워졌는지 확인

crime_station.columns.get_level_values(0)  #첫 라인 데이터 확인

Index(['강간', '강간', '강도', '강도', '살인', '살인', '절도', '절도', '폭력', '폭력', '구별', 'lat',
       'lng'],
      dtype='object', name='죄종')

crime_station.columns.get_level_values(1) 

Index(['검거', '발생', '검거', '발생', '검거', '발생', '검거', '발생', '검거', '발생', '', '', ''], dtype='object', name='발생검거')

tmp = [
    crime_station.columns.get_level_values(0)[n] + crime_station.columns.get_level_values(1)[n]
    for n in range(0, len(crime_station.columns.get_level_values(0)))
]
tmp

['강간검거',
 '강간발생',
 '강도검거',
 '강도발생',
 '살인검거',
 '살인발생',
 '절도검거',
 '절도발생',
 '폭력검거',
 '폭력발생',
 '구별',
 'lat',
 'lng']

crime_station.columns = tmp

crime_station.head()

# 데이터 저장
crime_station.to_csv("../data/02. Crime_in_Seoul_raw.csv", sep=",", encoding = "utf-8")

# 저장 확인
pd.read_csv("../data/02. Crime_in_Seoul_raw.csv")

---

7. 구별 데이터로 정리

crime_anal_station = pd.read_csv("../data/02. crime_in_Seoul_raw.csv", index_col=0, encoding="utf-8")
#index_col"구분"을 인덱스 컬럼으로 설정 
crime_anal_station.head()

crime_anal_gu = pd.pivot_table(crime_anal_station, index="구별", aggfunc=np.sum)  #index값 "구별"기준으로 설정

#불필요한 좌표값 데이터 삭제 두가지 방법
del crime_anal_gu["lat"]
crime_anal_gu.drop("lng", axis=1, inplace=True)

crime_anal_gu.head()

# 검거율 생성 (하나의 컬럼을 다른 컬럼으로 나누기)

crime_anal_gu["강도검거"] / crime_anal_gu["강도발생"]

구별
강남구     1.076923
강동구     0.928571
강북구     0.800000
관악구     0.833333
광진구     0.545455
구로구     1.300000
금천구     1.000000
노원구     1.500000
도봉구     1.000000
동대문구    1.200000
동작구     1.000000
마포구     1.750000
서대문구    0.800000
서초구     0.769231
성동구     1.666667
성북구     1.000000
송파구     0.800000
양천구     1.000000
영등포구    0.736842
용산구     1.111111
은평구     0.777778
종로구     0.750000
중구      0.875000
중랑구     1.000000
dtype: float64

#다수의 컬럼을 다른 컬럼으로 나누기
crime_anal_gu[["강도검거", "살인검거"]].div(crime_anal_gu["강도발생"], axis=0).head(3)

# 다수의 컬럼을 다수의 컬럼으로 각각 나누기

num = ["강간검거", "강도검거", "살인검거", "절도검거", "폭력검거"]
den = ["강간발생", "강도발생", "살인발생", "절도발생", "폭력발생"]

crime_anal_gu[num].div(crime_anal_gu[den].values).head()

target = ["강간검거율", "강도검거율", "살인검거율", "절도검거율", "폭력검거율"]

num = ["강간검거", "강도검거", "살인검거", "절도검거", "폭력검거"]
den = ["강간발생", "강도발생", "살인발생", "절도발생", "폭력발생"]
crime_anal_gu[target] = crime_anal_gu[num].div(crime_anal_gu[den].values) * 100
crime_anal_gu.head()

#필요없는 컬럼 제거
del crime_anal_gu["강간검거"]
del crime_anal_gu["강도검거"]
crime_anal_gu.drop(["살인검거", "절도검거", "폭력검거"], axis=1, inplace=True)
crime_anal_gu.head()

# 100보다 큰 검거율 숫자 찾아서 100으로 바꾸기
crime_anal_gu[crime_anal_gu[target] > 100] = 100
crime_anal_gu.head()

#컬럼 이름 변경
crime_anal_gu.rename(columns={"강간발생": "강간","강도발생": "강도", "살인발생" : "살인", "절도발생": "절도", "폭력발생": "폭력"},
                    inplace=True)
crime_anal_gu.head()

---

8. 범죄 데이터 정렬을 위한 데이터 정리

crime_anal_gu.head()

# 정규화: 최고값은 1, 최소값은 0
crime_anal_gu["강도"] / crime_anal_gu["강도"].max()

구별
강남구     1.000000
강동구     0.358974
강북구     0.128205
관악구     0.307692
광진구     0.282051
구로구     0.256410
금천구     0.179487
노원구     0.153846
도봉구     0.128205
동대문구    0.256410
동작구     0.179487
마포구     0.102564
서대문구    0.128205
서초구     0.333333
성동구     0.076923
성북구     0.205128
송파구     0.384615
양천구     0.435897
영등포구    0.487179
용산구     0.230769
은평구     0.230769
종로구     0.307692
중구      0.205128
중랑구     0.358974
Name: 강도, dtype: float64

col = ["살인", "강도", "강간", "절도", "폭력"]
# 정규화 변수 생성
crime_anal_norm = crime_anal_gu[col] / crime_anal_gu[col].max()
crime_anal_norm.head()

# 검거율 컬럼 추가
col2 = ["강간검거율", "강도검거율", "살인검거율", "절도검거율", "폭력검거율"]
crime_anal_norm[col2] = crime_anal_gu[col2]
crime_anal_norm.head()

# 구별 CCTV 자료에서 인구수와 CCTV수 추가
result_CCTV = pd.read_csv("../data/01. CCTV_result.csv", index_col="구별", encoding="utf-8")
result_CCTV.head(1)

crime_anal_norm[["인구수", "CCTV"]] = result_CCTV[["인구수", "소계"]]
crime_anal_norm.head()

#정규화된 범죄발생 건수 전체의 평균을 구해 범죄 컬럼 대표값으로 사용
col = ["강간", "강도", "살인", "절도", "폭력"]
crime_anal_norm["범죄"] = np.mean(crime_anal_norm[col], axis=1)
crime_anal_norm.head()

---

np.mean() 작동확인

np.array([0.357143, 1.000000, 1.000000, 0.977118, 0.733773])
np.mean(np.array([0.357143, 1.000000, 1.000000, 0.977118, 0.733773]))

0.8136068

np.mean(np.array(
    [[0.357143, 1.000000, 1.000000, 0.977118, 0.733773],
    [0.285714, 0.358974, 0.310078, 0.477799, 0.463880]]
), axis=1)  #numpy는 axis=1 : 행, axis=0 :열

array([0.8136068, 0.379289 ])

# 검거율 평균을 구해서 검거 컬럼 대표값으로 사용

col = ["강간검거율", "강도검거율", "살인검거율", "절도검거율", "폭력검거율"]
crime_anal_norm["검거"] = np.mean(crime_anal_norm[col], axis =1)  
#axis = 1 : 행을 따라 연산하는 옵션
crime_anal_norm.head()

crime_anal_norm