[혼자 공부하는 머신러닝+딥러닝] 교재 6장을 기반으로 작성되었습니다.
새로운 이벤트를 기획하고 있다.
고객이 사고 싶은 과일 사진을 보내면 그중 많이 요청하는 과일을 판매 품목으로 선정하려한다.
그런데 이전 이벤트의 생선처럼 미리 과일 분류기를 훈련하기에는
고객들이 어떤 과일 사진을 보낼지 알 수 없으니 곤란하다...
사진에 대한 정답(타깃)을 알지 못하는데 어떻게 사진을 각 과일이라 분류할 수 있을까?
타깃을 모르는 비지도 학습
이렇게 타깃이 없을 때 사용하는 머신러닝 알고리즘이 바로 비지도 학습이다.
사람이 가르쳐 주지 않아도 데이터에 있는 무언가를 학습하는 것이다.
그럼 어떻게 해야하는걸까?
사진의 픽셀값을 모두 평균 내면 비슷한 과일끼리 모이지 않을까?
이런 아이디어를 확인하기 위해 먼저 데이터를 준비하고 픽셀값을 이용해서 사진을 분류해보자.
과일 사진 데이터 준비하기
캐글에 공개된 과일 데이터셋을 사용한다.
"""📌 데이터 파일 다운로드"""
!wget https://bit.ly/fruits_300_data -O fruits_300.npy
# 코랩의 코드 셀에서 ! 문자로 시작하면 이후 명령을 리눅스 shell 명령으로 받아들인다.
# wget 명령은 원격 주소에서 데이터를 다운로드하여 저장한다.
# -O 옵션에서 저장할 파일 이름을 지정한다.
"""📌 데이터 로드"""
import numpy as np
import matplotlib.pyplot as plt
fruits = np.load('fruits_300.npy')
"""📌 데이터 배열의 크기 확인"""
print(fruits.shape)>>> (300, 100, 100)
# 첫번째 차원(300)은 샘플의 개수를 나타내고, 두,세번째 차원은 각각 이미지의 높이, 너비를 나타낸다. (🐱)
"""📌 첫번째 이미지의 첫번째 행의 픽셀 100개 값 출력"""
print(fruits[0, 0, :])>>> [ 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 1
2 2 2 2 2 2 1 1 1 1 1 1 1 1 2 3 2 1
2 1 1 1 1 2 1 3 2 1 3 1 4 1 2 5 5 5
19 148 192 117 28 1 1 2 1 4 1 1 3 1 1 1 1 1
2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1]
# 이 넘파이 배열은 흑백 사진을 담고 있으므로 0~255까지의 정수값을 가진다."""📌 첫번째 이미지 출력"""
plt.imshow(fruits[0], cmap='gray') # 흑백 이미지이므로 cmap 매개변수를 gray로 설정
plt.show()
첫번째 이미지는 사과인 듯하다. 그림의 첫번째 행이 위에서 출력한 배열 값인데.
현재는 0에 가까울수록 검게 나타나고 높은 값은 밝게 표시되므로 잘 해당되는걸 볼 수 있다.근데 흑백이미지가 왜 반전되어서 나올까?
사실 이 이미지는 넘파이 배열로 변환할 때 반전된 것이다!
이렇게 바꾼 이유는 컴퓨터가 255에 가까운 값에 집중하기 때문인데,
원래의 이미지대로라면 밝은 값인 '바탕'에 집중할 테니 반전하여 저장한 것.
우리의 관심 대상인 사과가 잘 보이도록 다시 반전시키자! (픽셀의 값이 반대로 됨)
"""📌 반전하여 출력"""
plt.imshow(fruits[0], cmap='gray_r')
plt.show()
"""📌 파인애플과 바나나도 출력"""
# 이 데이터는 사과, 바나나, 파인애플이 각각 100개씩 들어있다.
fig, axs = plt.subplots(1, 2)
axs[0].imshow(fruits[100], cmap='gray_r')
axs[1].imshow(fruits[200], cmap='gray_r')
plt.show()
픽셀값 분석하기
사용하기 쉽게 fruits 데이터를 사과, 파인애플, 바나나로 각각 나누자.
배열을 계산하기 편하게 하기 위해, 100x100 이미지를 펼쳐 길이가 10,000인 1차원 배열로 만들자.
"""📌 각 과일로 나누고 1차원 배열로 변환"""
# 첫번째 차원을 -1로 지정하면 자동으로 남은 차원을 할당한다
apple = fruits[0:100].reshape(-1, 100*100)
pineapple = fruits[100:200].reshape(-1, 100*100)
banana = fruits[200:300].reshape(-1, 100*100)
print(apple.shape)>>> (100, 10000)이제 apple, pineapple, banana 각 배열에 들어있는 샘플의 픽셀 평균값을 구해보자.
"""📌 사과의 픽셀 평균값 출력"""
print(apple.mean(axis=1))>>> [ 88.3346 97.9249 87.3709 98.3703 92.8705 82.6439 94.4244 95.5999
90.681 81.6226 87.0578 95.0745 93.8416 87.017 97.5078 87.2019
88.9827 100.9158 92.7823 100.9184 104.9854 88.674 99.5643 97.2495
94.1179 92.1935 95.1671 93.3322 102.8967 94.6695 90.5285 89.0744
97.7641 97.2938 100.7564 90.5236 100.2542 85.8452 96.4615 97.1492
90.711 102.3193 87.1629 89.8751 86.7327 86.3991 95.2865 89.1709
96.8163 91.6604 96.1065 99.6829 94.9718 87.4812 89.2596 89.5268
93.799 97.3983 87.151 97.825 103.22 94.4239 83.6657 83.5159
102.8453 87.0379 91.2742 100.4848 93.8388 90.8568 97.4616 97.5022
82.446 87.1789 96.9206 90.3135 90.565 97.6538 98.0919 93.6252
87.3867 84.7073 89.1135 86.7646 88.7301 86.643 96.7323 97.2604
81.9424 87.1687 97.2066 83.4712 95.9781 91.8096 98.4086 100.7823
101.556 100.7027 91.6098 88.8976]axis란?
axis란 "축"을 말하는데, 0은 '행'을 따라 계산하는 걸 말하고, 1은 '열'을 따라 계산함을 말한다.
우리의 데이터 샘플은 모두 가로로 값을 나열했으니 axis=1로 지정하여 계산해야한다.
각 과일별로 히스토그램을 그려서 평균값이 어떻게 분포되어 있는지 한눈에 볼 수 있다.
"""📌 각 과일별 평균값 히스토그램 출력"""
plt.hist(np.mean(apple, axis=1), alpha=0.8) # alpha 매개변수를 1보다 작게 하여 투명도를 줌
plt.hist(np.mean(pineapple, axis=1), alpha=0.8)
plt.hist(np.mean(banana, axis=1), alpha=0.8)
plt.legend(['apple', 'pineapple', 'banana']) # 범례를 만듬
plt.show()
바나나는 샘플의 평균값으로 잘 구분되나, 파인애플과 바나나는 비슷하여 구분이 어렵다...
샘플의 평균값이 아니라, 픽셀별 평균값으로 비교하면 어떨까??
"""📌 각 과일의 픽셀별 평균값 히스토그램 출력"""
fig, axs = plt.subplots(1, 3, figsize=(20, 5))
axs[0].bar(range(10000), np.mean(apple, axis=0))
axs[1].bar(range(10000), np.mean(pineapple, axis=0))
axs[2].bar(range(10000), np.mean(banana, axis=0))
plt.show()
순서대로 사과, 파인애플, 바나나의 그래프인데, 과일마다 값이 높은 구간이 다른 것을 볼 수 있다.
이 픽셀 평균값을 100x100 크기로 바꿔서 이미지처럼 출력하여 위 그래프와 비교하면 더 좋다.
"""📌 각 픽셀 평균값을 이미지처럼 출력"""
apple_mean = np.mean(apple, axis=0).reshape(100, 100)
pineapple_mean = np.mean(pineapple, axis=0).reshape(100, 100)
banana_mean = np.mean(banana, axis=0).reshape(100, 100)
fig, axs = plt.subplots(1, 3, figsize=(20, 5))
axs[0].imshow(apple_mean, cmap='gray_r')
axs[1].imshow(pineapple_mean, cmap='gray_r')
axs[2].imshow(banana_mean, cmap='gray_r')
plt.show()
세 과일이 픽셀 위치에 따라 값의 크기가 차이 난다.
그러므로 위의 이미지와 가까운 사진을 골라내면 각 과일을 구분할 수 있을 것 같다!
평균값과 가까운 사진 고르기
사과 사진의 평균값인 apple_mean과 가장 가까운 사진을 골라보자.
"""📌 각 샘플의 오차 평균 abs_mean 계산"""
abs_diff = np.abs(fruits - apple_mean) # (300,100,100) 크기의 배열
# 절대값 오차를 사용하여, fruits 배열에 있는 모든 샘플에서 apple_mean을 뺀 절댓값의 평균을 계산한다.
abs_mean = np.mean(abs_diff, axis=(1,2)) # (300,) 크기의 1차원 배열
# 각 샘플에 대한 평균을 구하기 위해 axis에 두번째, 세번째 차원을 모두 지정
print(abs_mean.shape) >>> (300,)"""📌 오차 평균이 작은 순서대로 100개를 출력"""
apple_index = np.argsort(abs_mean)[:100] # 오름차순으로 나열한 abs_mean 배열의 인덱스 반환
fig, axs = plt.subplots(10, 10, figsize=(10,10))
for i in range(10):
for j in range(10):
axs[i, j].imshow(fruits[apple_index[i*10 + j]], cmap='gray_r')
axs[i, j].axis('off')
plt.show()
100개 모두 사과이다!
이렇게 비슷한 샘플끼리 그룹으로 모으는 작업을 군집(clustering)이라 하고,
이 군집은 대표적인 비지도 학습 작업 중 하나이다.
또한, 군집 알고리즘에서 만든 그룹을 클러스터(cluster)라고 부른다.
하지만 우린 이미 사과, 파인애플, 바나나가 있다는 것을 알고 있었는데,
이말은 사실 타깃값을 알고있었다는 것이다.
실제 상황에선 이렇게 타깃값을 알 수 없는데, 이를 모르면서 어떻게 세 과일의 평균값을 찾을 수 있을까?
다음 6-2장의 k-평균 알고리즘이 이를 해결해준다!
