비지도학습

• 알고 있는 출력값이나 정보 없이 학습 알고리즘을 가르쳐야 하는 모든 종류의 머신러닝

• 비지도 변환, 군집

• 비지도 변환(unsupervised transformation) : 데이터를 새롭게 표현하여 사람이나 다른 머신러닝 알고리즘이 원래 데이터보다 쉽게 해석할 수 있도록 만드는 알고리즘임
  - 많은 고차원 데이터를 특성의 수를 줄일면서 꼭 필요한 특징을 포함한 데이터를 표현하는 방법인 차원축소의 대표적 예는 시각화를 위해 데이터셋을 2차원 변경하는경우
  - 비지도 변환으로 데이터를 구성하는 단위나 성분을 검색 : 많은 텍스트 문서에서 주제를 추출 ( 소셜 미디어에서 선거, 총기규제, 팝스타 같은 주제로 일어나는 토론을 추적할 때 사용가능)

• 군집(clustering) : 데이터를 비슷한 것끼리 그룹으로 묶는 작업
  - 소설 미디어 사이트에 사진을 업로드하는 경우의 예
  - 업로드한 사진을 분류하려면 같은 사람이 찍힌 사진을 같은 그룹으로 묶을 수 있으나 사이트는 사진에 찍힌 사람이 누군지, 전체 사진 앨범에 얼마나 많은 사람이 있는지 알지 못함
  - 이때 가능한 방법은 사진에 나타난 모든 얼굴을 추출해서 비슷한 얼굴로 그룹 짓는 것, 이 얼굴들이 같은 사람의 얼굴이라면 이미지들을 그룹으로 잘 묶은 결과

• 가장 어려운 일은 알고리즘이 뭔가 유용한 것을 학습했는지 평가하는 일

• 비지도 학습은 보통 레이블이 없는 데이터에 적용하기 때문에 무엇이 올바른 출력인지 모름
  - 비지도 학습의 결과 평가를 위해서는 직접 확인하는 것이 유일한 방법일 때가 많음
  - 데이터 과학자가 데이터를 더 잘 이해하고 싶을 때 탐색적 분석 단계에서 많이 사용됨
  - 지도 학습의 전처리 단계에서도 사용됨. 비지도 학습의 결과로 새롭게 표현된 데이터를 사용해 학습하면 지도 학습의 정확도가 좋아지기도하며 메모리와 시간을 절약할 수 있음
  - 전처리 메서드 : 지도 학습 알고리즘에서 전처리와 스케일 조정을 자주 사용하지만, 스케일 조정 메서드는 지도정보를 사용하지 않으므로 비지도 방식

군집

• 데이터셋을 클러스터라는 그룹으로 나누는 작업
• 군집 분석은 데이터셋 관측값이 갖고 있는 여러 속성을 분석하여 서로 비슷한 특징을 갖는 관측값끼리 같은 클러스터(집단)으로 묶는 알고리즘
  - 다른 클러스터 간에는 서로 완전하게 구분되는 특징을 갖기 때문에 어느 클러스터에도 속하지 못하는 관측값이 존재 할 수 있음
  - 관측값을 몇개의 집단으로 나눈다는 점에서 분유 알고리즘과 비슷하지만 정답이 없는 상태에서 데이터 자체의 유사성만을 기준으로 판단하는 점
  - 신용카드 부정 사용 탐지, 구미 패턴 분석 등 소비자 행동 특성 그룹화
  - 어떤 소비자와 유사한 특성을 갖는 집단 구분 -> 갖은 집단 내의 다른 소비자를 통해 새로운 소비자의 구매 패턴이나 행동 예측에 활용
  - K-Means 알고리즘, DBSCAN 알고리즘

k-평균 군집

• 가장 간단하고 널리 사용하는 군집 알고리즘
• 데이터의 어떤 영역을 대표하는 클러스터 중심 찾기

병합 군집

• 군집 알고리즘의 모음
• 종료 조거 만족까지 비슷한 클러스터 합치기

DBSCAN

• 데이터가 위치하고 있는 공간 밀집도 기준으로 클러스터 구분

---

k-Means(K평균 군집)

• 데이터간의 유사성을 측정하는 기준으로 각 클러스터의 중심까지의 거리 이용

• 벡터 공간에 위치한 어떤 데이터에 대해서 k개의 클러스터가 주어졌을 때 클러스터의 중심까지 거리가 가장 가까운 클러스터로 해당 데이터를 할당

• 다른 클러스터 간에는 서로 완전하게 구분하기 위해 일정한 거리 이상 떨어져야 함

• 몇개의 클러스터로 데이터를 구분할 것인지 생성하는 k값에 따라 모형의 성능 달라짐

• 일반적으로 k값이 클수록 모형의 정확도 개선 k값이 너무 커지면 선택지가 너무 많아지므로 분석의 효과가 사라짐

k-Means 도매업 고객 군집 분석

🐼 준비

# 라이브러리 임포트
import pandas as pd
import matplotlib.pyplot as plt

# 데이터 준비하기
# Wholesale customers 데이터셋 가져오기(출처 : UCI ML Repository)
# https://archive.ics.uci.edu/ml/datasets/wholesale+customers
# clients of a wholesale distributor 각 품목에 대한 연간 지출
uci_path = 'https://archive.ics.uci.edu/ml/machine-learning-databases/\
00292/Wholesale%20customers%20data.csv'
df = pd.read_csv(uci_path, header=0)

---

데이터 확인하기

1) FRESH: annual spending (m.u.) on fresh products (Continuous);
2) MILK: annual spending (m.u.) on milk products (Continuous);
3) GROCERY: annual spending (m.u.)on grocery products (Continuous);
4) FROZEN: annual spending (m.u.)on frozen products (Continuous)
5) DETERGENTS_PAPER: annual spending (m.u.) on detergents and paper products (Continuous)
6) DELICATESSEN: annual spending (m.u.)on and delicatessen products (Continuous);
7) CHANNEL: customers’ Channel - Horeca (Hotel/Restaurant/Café) or Retail channel (Nominal)
8) REGION: customers’ Region – Lisnon, Oporto or Other (Nominal)

데이터 전처리

X = df.iloc[:,:]

# 데이터 정규화 -> 스케일링
from sklearn import preprocessing
X = preprocessing.StandardScaler().fit(X).transform(X)

k-Means 군집 모델 설정

from sklearn import cluster 
kmeans = cluster.KMeans(n_clusters=5, random_state=7)

# 모델 학습하기
kmeans.fit(X)
cluster_label = kmeans.labels_ # 0~4까지 군집

# 클러스터 데이터 시각화
df['Cluster'] = cluster_label
df

채널과 지역의 연관관계

# 채널과 지역의 연관관계 
# 2 Cluster Channel 2 (Retail Channel), Region 1,2,3
# 1 Cluster Channel 1, Region 3
# 0 Cluster Channel 1, Region 1,2
df.plot(kind='scatter',x='Channel', y='Region',c='Cluster',cmap='Set1', figsize=(10,10))

품목들간의 연관관계 Milk, Fresh

# 2 Cluster Channel 2 (Retail Channel), Region 1,2,3
# 1 Cluster Channel 1, Region 3
# 0 Cluster Channel 1, Region 1,2
df.plot(kind='scatter',x='Milk', y='Fresh',c='Cluster',cmap='Set1', figsize=(10,10))

품목들간의 연관관계 Frozen, Detergents_Paper

# 2 Cluster Channel 2 (Retail Channel), Region 1,2,3
# 1 Cluster Channel 1, Region 3
# 0 Cluster Channel 1, Region 1,2
df.plot(kind='scatter',x='Frozen', y='Detergents_Paper',c='Cluster',cmap='Set1', figsize=(10,10))

특정 클러스터만 보기

# 2, 3 클러스터만 더 자세하게 보고싶다면
mask = (df['Cluster']==2) | (df['Cluster']==3)
ndf = df[mask]
ndf.Cluster.unique()
ndf.plot(kind='scatter',x='Frozen', y='Detergents_Paper',c='Cluster',cmap='Set1', figsize=(10,10))

# 2,3 클러스터를 제외한 0,1,4 더 자세하게 보고싶다면
mask = (df['Cluster']==2) | (df['Cluster']==3)
ndf = df[~mask]
ndf.Cluster.unique()
ndf.plot(kind='scatter',x='Frozen', y='Detergents_Paper',c='Cluster',cmap='Set1', figsize=(10,10))

---

산점도 행렬

# 데이터 프레임을 사용해 df['Cluster'] 따라서 색으로 구분된 산점도 행렬
pd.plotting.scatter_matrix(df, c=df['Cluster'], figsize=(20,20), marker='o', hist_kwds={'bins':20}, s=60, alpha=0.8)
plt.tight_layout()

import numpy as np
plt.imshow([np.unique(df['Cluster'])])
plt.show()

---

➕

---

DBSCAN

• 밀도기반 클러스터링
• 가지를 중심으로 반지름 R의 공간에 최소 M개의 포인트가 존재하는 점을 코어포인트라고 함
• 반지름 R안에 다른 코어 포인트가 있는 경우 경계포인트라고 함
• 코어 포인트, 경계 포인트도 속하지 않는 점을 Noise(or outlier)로 분류
• k-Means와 같이 클러스터의 수를 정하지 않아도 됨
• Noise point를 통하여 outlier 검출이 가능
• 클러스터의 밀도에 따라서 클러스터를 서로 연결하기 때문에 기하학적인 모양을 갖는 군집도 잘 찾을 수 있음

서울시 중학교 졸업생의 진로 현황 데이터셋을 사용한 밀도 기반 클러스터링

• 학교알리미 공개용 데이터 중 서울시 중학교 졸업생의 진로 현황 데이터셋에서 고등학교 진학률 데이터를 활용하여 속성이 비슷한 중학교까지 클러스터링
• 클러스터링한 결과를 지도시각화

🐼 준비

# 라이브러리 임포트
import pandas as pd
import folium

# 데이터 준비
df = pd.read_excel('/content/2016_middle_shcool_graduates_report.xlsx', index_col=0, header=0, engine='openpyxl') # 엑셀파일 열기위한 코드
df.head()

중학교 위치 지도 시각화

# 중학교 위치 지도 시각화
mschool_map = folium.Map(location=[37.55, 126.98], tiles='Stamen Terrain', zoom_start=12)

# 중학교 위치 정보 CircleMarker로 표시 -> popup은 학교명 -> 필요한 컬럼 -> 위도, 경도, 학교명
for name, lat, lng in zip(df.학교명, df.위도, df.경도):
  folium.CircleMarker([lat, lng], # 위도 경도
                      radius=5, # 반지름
                      color='brown', # 둘레 색상
                      fill=True, fill_color='coral', # 원 안 색상
                      fill_opacity=0.7, # 투명도
                      popup='<pre>'+name+'</pre>').add_to(mschool_map)
mschool_map

👀 이 지도에 클러스터링을 적용하고 싶음

---

데이터 전처리

• 범주형 데이터 -> Dtype -> Object -> 유형['국립', '공립', '사립'], 주야[주간], 지역 25개의 구

# -> 인코딩 -> 라벨링(숫자형태로 변경) -> 성능 -> 원핫인코딩(발전가능)
from sklearn import preprocessing

label_encoder = preprocessing.LabelEncoder()

l_location = label_encoder.fit_transform(df['지역']) # 25 -> 0 ~ 24
l_code = label_encoder.fit_transform(df['코드']) # array([3,5,9]) -> 0,1,2 다시라벨링(범위 조절)
l_type = label_encoder.fit_transform(df['유형']) # ['국립', '공립', '사립'] -> 0,1,2
l_day = label_encoder.fit_transform(df['주야']) # [주간] - > 0

# df 새로운 컬럼으로 추가(교체는 안함)
df['location'] = l_location
df['code'] = l_code
df['type'] = l_type
df['day'] = l_day
df.head()

# 클러스터링에 필요한 속성을 선택 -> 과학고, 외고국제고, 체고, 자사고
# 인덱스 번호로 가져옴
columns_list = [9, 10, 11, 13]
X = df.iloc[:, columns_list] #[row_index, columns_index]
X.head()

• df.info()로 인덱스 번호 확인!
• X.head() 결과

# 정규화
X = preprocessing.StandardScaler().fit(X).transform(X)
X

---

DBSCAN 군집 모델 설정

# DBSCAN 모델 설정
from sklearn import cluster
# 한 데이터 포인트에서 eps 거리 안에 데이터가 min_samples 개수만큼 포함되어 있으면 클러스터로 포함
# eps 핵심 포인트를 중심으로 측정되는 유클리디언 거리값
# min_samples : 핵심 포인트를 중심점으로 간주하는 주변 지역의 표본 수
dbm = cluster.DBSCAN(eps=0.2, min_samples=5)

모델 학습, 모델 예측확인

dbm.fit(X)
import numpy as np
cluster_label = dbm.labels_ # dbm.labels_ 중 -1은 noise
# 예측 결과 데이터 프레임에 추가
df['Cluster'] = cluster_label
df.head(10)

---

클러스터 결과 확인

# 각 클러스터의 데이터 건수
df['Cluster'].value_counts()

클러스터 값으로 그룹화, 출력

# 클러스터 값으로 그룹하고 그룹별로 내용 출력(5개 출력)
group_cols = [0, 1, 3] + columns_list # 지역, 학교명, 유형 + cols
# groupby -> key, value 
grouped = df.groupby('Cluster')
# grouped['Cluster'].value_counts()

# index(key), group(value)
for index, group in grouped:
  print('Cluster : ', index)
  print(' * len : ', len(group))
  print(group.iloc[:,group_cols].head())
  print('\n')

클러스터링 결과 지도 시각화

# 중학교 위치 지도 시각화
cluster_map = folium.Map(location=[37.55, 126.98], tiles='Stamen Terrain', zoom_start=12)
colors = {-1:'gray', 0:'coral', 1:'blue', 2:'green', 3:'red', 4:'purple', 5:'orange'}
# 중학교 위치 정보 CircleMarker로 표시 -> popup은 학교명 -> 필요한 컬럼 -> 위도, 경도, 학교명, Cluster
for name, lat, lng, clus in zip(df.학교명, df.위도, df.경도, df.Cluster):
  folium.CircleMarker([lat, lng], # 위도 경도
                      radius=5, # 반지름
                      color=colors[clus], # 둘레 색상
                      fill=True, fill_color=colors[clus], # 원 안 색상
                      fill_opacity=0.7, # 투명도
                      popup='<pre>'+name+'</pre>').add_to(cluster_map)
cluster_map

---

비지도 학습 요약 및 정리

• 탐색적 데이터분석과 데이터 전처리에 사용할 수 있는 여러가지 비지도 학습 알고리즘 이해
• 데이터를 올바르게 표현하는 것은 지도학습과 비지도 학습을 잘 적용하기 위해 필수적
• 전처리와 분해 방법은 데이터 준비 단계에서 아주 중요한 부분
• 지도 학습에서도 데이터 탐색 도구는 데이터의 특성을 잘 이해하는데 중요함
• 정보가 없을 때 데이터를 분석하는 유일한 방법
• 2차원 예제 데이터와 scikit-learn에 있는 실제 데이터 셋인 digits, iris, cancer데이터셋에 직접 군집과 분해 알고리즘을 적용하는 연습이 도움됨