이번 학습의 키워드는
🩵 비지도 학습
🩵 군집 알고리즘
입니다!!
비지도 학습
- 타깃이 없을 때 사용하는 머신러닝 알고리즘
과일 사진 데이터가 여러 개 주어졌을 때, 해당 사진이 어떤 과일에 해당하는지(타깃)를 모르는 상태에서 과일을 분류하는 작업을 해보려고 합니다. 이렇게 훈련 데이터에 타깃이 없는 머신러닝 학습 방법을 비지도 학습이라고 합니다.
과일을 분류하기 위해서 과일 사진의 픽셀값을 이용해서 사진을 분류해보겠습니다.
1. 데이터 준비
우선 사과, 바나나, 파인애플을 담고 있는 흑백 사진을 준비합니다.
!wget https://bit.ly/fruits_300_data -O fruits_300.npy! 명령어
- 코랩의 코드 셀에서 '!' 문자로 시작하면 코랩은 이후 명령을 파이썬 코드가 아니라 리눅스 셸 명령으로 이해합니다.
wget
- 원격 주소에서 데이터를 다운로드하여 저장
-0
- 저장할 파일 이름을 지정
import numpy as np
import matplotlib.pyplot as plt
fruits = np.load('fruits_300.npy')
print(fruits.shape)(300, 100, 100)
fruits는 넘파이 배열이고 fruit_300.npy 파일의 모든 데이터를 담고 있습니다.
배열의 크기는 (300, 100, 100)인데요, 배열의 첫 번째 차원(300)은 샘플의 개수를 나타냅니다. 두 번째 차원(100)은 이미지의 높이, 세 번째 차원(100)은 이미지늬 너비입니다.
첫 번째 이미지의 첫 번째 행을 출력했습니다.
print(fruits[0, 0, :])[ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1
2 2 2 2 2 2 1 1 1 1 1 1 1 1 2 3 2 1
2 1 1 1 1 2 1 3 2 1 3 1 4 1 2 5 5 5
19 148 192 117 28 1 1 2 1 4 1 1 3 1 1 1 1 1
2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1]첫 번째 행에 있는 픽셀 100개의 값을 출력했습니다.
이 넘파이 배열은 흑백 사진을 담고 있기 때문에 0~255까지의 정숫값으로 이루어져 있습니다.
첫 번재 사진을 그림으로 출력해서 픽셀값과 비교해보겠습니다.
plt.imshow(fruits[0], cmap='gray')
plt.show()
첫 번째 이미지는 사과인 것 같습니다. 픽셀값과 비교해보면 0에 가까울수록 검게 나타나고 숫자가 커질수록 밝게 표시된다는 것을 알 수 있습니다.
보통 우리가 평상시 사용하는 흑백 이미지는 바탕이 밝고 물체는 짙은색 입니다. 하지만 흑백 이미지를 넘파이 배열로 변환할 때는 값을 반전시키게 되는데요, 그 이유는 수치가 낮은 값보다 큰 값에 컴퓨터가 더 집중하기 때문입니다.
예를 들어, 보통의 흑백 이미지처럼 물체가 0의 값을 가지게되면 컴퓨터가 연산할 때 출력이 0이 되어버리기 때문에 의미를 부여하기 어렵지만 픽셀값이 크다면 연산값이 유의미해집니다.
하지만 출력할 때는 익숙한 형태로 출력하기 위해서 cmap 매개변수를 'gray_r'로 지정할 수 있습니다.
plt.imshow(fruits[0], cmap='gray_r')
plt.show()
이 그림에서는 밝은 부분이 0에 가깝고 어두운 부분이 255에 가까운 값이 됩니다.
이번에는 나머지 과일 데이터도 출력해보겠습니다.
fig, axs = plt.subplots(1, 2)
axs[0].imshow(fruits[100], cmap='gray_r')
axs[1].imshow(fruits[200], cmap='gray_r')
plt.show()
matplotlib.pyplot.subplots( )
- 여러 개의 그래프를 배열처럼 쌓을 수 있게 해주는 함수
- subplots(1, 2) : 그래프를 하나의 행과 2개의 열로 배치
fruits 데이터는 처음 100개는 사과, 그 다음 100개는 파인애플, 마지막 100개는 바나나 데이터로 구성되어 있습니다.
2. 픽셀값 분석하기
사용의 편리함을 위해 예시로 각 데이터를 사과, 파인애플, 바나나로 각각 나누어 보겠습니다.
그 후 100 x 100 이미지를 펼쳐서 길이가 10000인 1차원 배열로 만들겠습니다. 이렇게 펼치면 배열을 계산할 때 편리해집니다.
apple = fruits[0:100].reshape(-1, 100*100)
pineapple = fruits[100:200].reshape(-1, 100*100)
banana = fruits[200:300].reshape(-1, 100*100)print(apple.shape)reshape( )
- 첫 번째 차원은 샘플의 개수
- 첫 번째 차원을 -1로 지정하면 자동으로 남은 차원을 할당
샘플 픽셀의 평균값
각 과일 데이터의 배열의 크기를 (100, 10000)으로 변경했습니다. 다음으로 샘플의 픽셀 평균값을 계산해보겠습니다.
print(apple.mean(axis=1))[ 88.3346 97.9249 87.3709 98.3703 92.8705 82.6439 94.4244 95.5999
90.681 81.6226 87.0578 95.0745 93.8416 87.017 97.5078 87.2019
88.9827 100.9158 92.7823 100.9184 104.9854 88.674 99.5643 97.2495
94.1179 92.1935 95.1671 93.3322 102.8967 94.6695 90.5285 89.0744
97.7641 97.2938 100.7564 90.5236 100.2542 85.8452 96.4615 97.1492
90.711 102.3193 87.1629 89.8751 86.7327 86.3991 95.2865 89.1709
96.8163 91.6604 96.1065 99.6829 94.9718 87.4812 89.2596 89.5268
93.799 97.3983 87.151 97.825 103.22 94.4239 83.6657 83.5159
102.8453 87.0379 91.2742 100.4848 93.8388 90.8568 97.4616 97.5022
82.446 87.1789 96.9206 90.3135 90.565 97.6538 98.0919 93.6252
87.3867 84.7073 89.1135 86.7646 88.7301 86.643 96.7323 97.2604
81.9424 87.1687 97.2066 83.4712 95.9781 91.8096 98.4086 100.7823
101.556 100.7027 91.6098 88.8976]mean( )
- 축을 기준으로 픽셀의 평균값을 계산
- axis=0으로 지정하면 첫 번째 축인 행을 따라 계산
- axis=1로 지정하면 두 번째 축인 열을 따라 계산
모든 샘플을 가로로 나열했기 때문에 axis=1로 지정해서 열을 따라 평균을 계산해주었습니다.
사과 샘플 100개에 대한 픽셀 평균값을 계산했습니다. 히스토그램을 그려서 평균값 분포를 한 눈에 확인해볼게요.
plt.hist(np.mean(apple, axis=1), alpha=0.8)
plt.hist(np.mean(pineapple, axis=1), alpha=0.8)
plt.hist(np.mean(banana, axis=1), alpha=0.8)
plt.legend(['apple', 'pineapple', 'banana'])
plt.show()
alpha
- 1보다 작게 지정하면 투명도를 줄 수 있음
legend( )
- 범례 지정
히스토그램에서 바나나 사진의 평균값은 40 이하의 값에 집중되어 있습니다. 사과와 파인애플은 90~100 사이에 많이 모여 있습니다. 따라서 바나나의 경우에는 픽셀값 만으로도 구분할 수 있지만 사과와 파인애플은 픽셀값만으로는 구분이 어려워 보입니다.
픽셀 별 평균값
그래서 샘플의 평균값이 아니라 픽셀별 평균값을 비교해보겠습니다. 세 과일은 모양이 다르고 픽셀값의 위치 분포도 다를 것이기 때문에, 전체 샘플에 대해서 각 픽셀의 평균을 계산한다면 구별할 수 있을 것 같습니다.
fig, axs = plt.subplots(1, 3, figsize=(20, 5))
axs[0].bar(range(10000), np.mean(apple, axis=0))
axs[1].bar(range(10000), np.mean(pineapple, axis=0))
axs[2].bar(range(10000), np.mean(banana, axis=0))
plt.show()
픽셀 별 평균을 구하기 위해 axis=0으로 평균을 구합니다.
bar( )
- 막대그래프를 그리는 함수
픽셀 10000개에 대한 각각의 평균값을 막대그래프로 그리고 subplots( ) 함수를 사용해서 사과, 파인애플, 바나나에 대한 3개의 막대그래프를 나열해서 출력했습니다.
왼쪽부터 사과, 파인애플, 바나나 그래프인데요, 과일마다 값이 높은 구간이 다른것을 알 수 있습니다. 사과는 사진 아래로 갈 수록 값이 높아지고, 파인애플은 비교적 고르면서 높고, 바나나는 중앙의 픽셀값이 높습니다.
apple_mean = np.mean(apple, axis=0).reshape(100, 100)
pineapple_mean = np.mean(pineapple, axis=0).reshape(100, 100)
banana_mean = np.mean(banana, axis=0).reshape(100, 100)
fig, axs = plt.subplots(1, 3, figsize=(20, 5))
axs[0].imshow(apple_mean, cmap='gray_r')
axs[1].imshow(pineapple_mean, cmap='gray_r')
axs[2].imshow(banana_mean, cmap='gray_r')
plt.show()
픽셀 평균값을 다시 100 x 100 으로 바꿔서 이미지를 출력합니다. 픽셀을 평균 내 이미지를 모든 사진을 합쳐 놓은 대표 이미지로 생각할 수 있습니다.
세 과일은 픽셀 위치에 따라 값의 크기가 차이나기 때문에 이 대표 이미지와 가까운 사진을 고른다면 과일을 구별할 수 있을 것 같습니다.
3. 평균값과 가까운 사진 고르기
사과 사진의 평균값인 apple_mean과 가장 가까운 사진을 골라보겠습니다. fruits 배열에 있는 모든 샘플에서 apple_mean을 뺀 절댓값의 평균을 계산합니다.
abs_diff = np.abs(fruits - apple_mean)
abs_mean = np.mean(abs_diff, axis=(1,2))
print(abs_mean.shape)(300,)
abs_diff는 (300, 100, 100) 크기의 배열입니다. 각 샘플에 대한 평균을 구하기 위해 axis에 두 번째, 세 번째 차원을 모두 지정합니다. abs_mean은 각 샘플 평균의 오차 평균이므로 크기가 (300,)인 1차원 배열입니다.
apple_index = np.argsort(abs_mean)[:100]
fig, axs = plt.subplots(10, 10, figsize=(10,10))
for i in range(10):
for j in range(10):
axs[i, j].imshow(fruits[apple_index[i*10 + j]], cmap='gray_r')
axs[i, j].axis('off')
plt.show()
np.argsort( )
- 작은 것에서 큰 순서대로 나열한 배열의 인덱스를 반환
axis('off')
- 축을 그리지 않음
- 'on'으로 지정하면 축을 그릴 수 있음
오차가 작은 순서대로 100개를 골라보았습니다. subplots( ) 함수로 10 x 10, 100개의 서브 그래프를 만들고 2중 for 문을 사용해서 행과 열에 이미지를 출력합니다.
이렇게 비슷한 샘플끼리 그룹을 모으는 작업을 군집이라고 합니다. 군집은 대표적인 비지도 학습 방법 중 하나이며 군집 알고리즘에서 만든 그룹을 클러스터라고 합니다.
그런데 우리는 이미 사과, 파인애플, 바나나를 데이터별로 나누는 시점부터 타깃 정보를 알고 있었던 셈입니다. 하지만!! 실제로 비지도 학습에서는 타깃값을 모르기 때문에 샘플의 평균값을 미리 구할 수 없습니다.
다음 챕터에서는 타깃값을 모르면서 세 과일의 평균값을 찾을 수 있는 k-평균 알고리즘에 대해서 공부해보겠습니다✌️
자료 출처: 한빛 미디어
