사진 이미지 분류기

리뷰

---

• 머신러닝 또는 딥러닝을 활용해서 데이터를 분류(classification)하는 문제를 풀어봤다.
• 텐서플로우(TensorFlow)가 무엇인지 알며, 이를 활용해서 머신러닝/딥러닝 문제를 풀어봤다.
• 이미지 분류를 하는 CNN 계열의 Backbone 모델을 다뤄보지 않았다.
• python의 기본적인 문법을 알며, 함수 또는 클래스를 다룰 수 있다

학습목표

---

• 이미지를 분류할 때 이미 잘 학습되어 있는 모델을 사용한다는 아이디어를 떠올릴 수 있다.
• 사전학습 모델인 Backbone 모델의 종류와 개념을 알고, Transfer Learning의 개념을 설명할 수 있다.
• VGG, ResNet과 같은 기본적인 Backbone 모델을 불러와서 사용할 수 있다.
• Backbone 모델을 원하는 레이어(layer)만큼 새로 학습시켜서 사용할 수 있다.
• Backbone 모델을 Transfer Learning 시킴으로써 원하는 이미지를 분류시킬 수 있다.

목차

---

• 이미지 분류 문제
• 모델이 학습하려면? 공부할 데이터를 줘야지!
• 데이터가 있다고 끝은 아니야, 이쁘게 다듬는 작업은 필수!
• 데이터가 준비되었으니, 이제 모델을 만들어보자
• 모델아 모델아, 데이터를 먹고 똑똑해지렴!
• 모델은 얼마나 똑똑해졌을까? 확인해 보자!

프로젝트

---

• 데이터셋 선택하기
• 데이터셋을 모델에 넣을 수 있는 형태로 준비하기
• 모델 설계하기
• 모델 학습시키기
• 모델 성능 평가하기

준비

---

$ pip install pillow $

• 모델 활용하기

버전 등의 이유로 경고 메세지가 출력될 수 있는 경우 아래의 코드를 통해 꼭 필요한 메세지

import warnings
warnings.filterwarnings("ignore")

print("완료!")

완료!

텐서플로우 활용 이미지 분류.

import tensorflow as tf
print(tf.__version__)   # 2.6.0 으로 진행

2.6.0

데이터셋 준비하기

• 텐서플로우에서 제공하는 데이터셋을 사용 tensorflow_datasets 패키지

import tensorflow_datasets as tfds

tfds.__version__

'4.4.0'

tensorflow_datasets에 관한 세부 내용을 확인

• tensorflow_datasets에서 제공되는 데이터셋 8rkwl
  - Audio, Image, Object_detection, Structured,
  Summarization, Text, Translate, Video

tensorflow_datasets 라이브러리를 tfds로 가져왔으니, 그 중 cats_vs_dogs 데이터를 사용

• 고양이랑 개
  • 데이터는 786.68MiB , 23,262장

# 데이터 가져오기

(raw_train, raw_validation, raw_test), metadata = tfds.load(
    'cats_vs_dogs',
    split=['train[:80%]', 'train[80%:90%]', 'train[90%:]'],
    with_info=True,
    as_supervised=True,
)

Downloading and preparing dataset 786.68 MiB (download: 786.68 MiB, generated: Unknown size, total: 786.68 MiB) to /aiffel/tensorflow_datasets/cats_vs_dogs/4.0.0...



Dl Completed...: 0 url [00:00, ? url/s]



Dl Size...: 0 MiB [00:00, ? MiB/s]



Generating splits...:   0%|          | 0/1 [00:00<?, ? splits/s]



Generating train examples...:   0%|          | 0/23262 [00:00<?, ? examples/s]


WARNING:absl:1738 images were corrupted and were skipped



Shuffling cats_vs_dogs-train.tfrecord...:   0%|          | 0/23262 [00:00<?, ? examples/s]


Dataset cats_vs_dogs downloaded and prepared to /aiffel/tensorflow_datasets/cats_vs_dogs/4.0.0. Subsequent calls will reuse this data.

데이터 셋 확인

print(raw_train)
print(raw_validation)
print(raw_test)

<PrefetchDataset shapes: ((None, None, 3), ()), types: (tf.uint8, tf.int64)>
<PrefetchDataset shapes: ((None, None, 3), ()), types: (tf.uint8, tf.int64)>
<PrefetchDataset shapes: ((None, None, 3), ()), types: (tf.uint8, tf.int64)>

• 모든 데이터셋은 (image, label)의 형태
• ((None, None, 3), ())
  • (None, None, 3)은 image의 shape
  • ()는 정답 카테고리인 label의 shape
• 이미지는 (height, width, channel)로 3차원 데이터
  • 사이즈가 다르면 None으로 나옴

데이터 전처리하기

데이터 확인을 위해 matplotlib 라이브러리를 가져옴

import matplotlib.pyplot as plt
%matplotlib inline
%config InlineBackend.figure_format = 'retina'

print("슝~")

슝~

raw_train 안에 있는 데이터를 확인해 보기 위해 tf.data.Dataset에서 제공하는 take라는 함수를 사용

• 이 함수는 인수로 받은 만큼의 개수만큼의 데이터를 추출하여 새로운 데이터셋 인스턴스를 생성하여 리턴한는 함수.

• 강아지는 label 1로, 고양이는 label 0으로 설정

모델을 학습시킬 때에는 이미지 사이즈를 통일시켜 주는 작업

• 타입캐스팅(Type Casting)
  • 형변환이라고도 불리는 타입개스팅은 다른 데이터 타입으로 형(타입)을 바꿔주는 것을 의미합니다. 정수형을 실수형으로 바꾸기 위해 float()를 사용

IMG_SIZE = 160 # 리사이징할 이미지의 크기

def format_example(image, label):
    image = tf.cast(image, tf.float32)  # image=float(image)같은 타입캐스팅의  텐서플로우 버전입니다.
    image = (image/127.5) - 1 # 픽셀값의 scale 수정
    image = tf.image.resize(image, (IMG_SIZE, IMG_SIZE))
    return image, label

print("슝~")

슝~

이미지의 사이즈를 160x160 픽셀로 통일시킬 뿐만 아니라, 각 픽셀값의 scale을 수정해주는 역할

train, validataion, test 데이터셋으로 변환

• format_example() 함수를 raw_train, raw_validation, raw_test 에 map() 함수로 적용시켜서 원하는 모양의 train, validataion, test 데이터셋으로 변환

• 리스트 원소 전체에 동일한 변환 함수를 for 문을 사용하지 않고 손쉽게 적용하게 해주는 map 함수 사용

  리스트에 map 함수 적용

train = raw_train.map(format_example)
validation = raw_validation.map(format_example)
test = raw_test.map(format_example)

print(train)
print(validation)
print(test)

<MapDataset shapes: ((160, 160, 3), ()), types: (tf.float32, tf.int64)>
<MapDataset shapes: ((160, 160, 3), ()), types: (tf.float32, tf.int64)>
<MapDataset shapes: ((160, 160, 3), ()), types: (tf.float32, tf.int64)>

IMG_SIZE를 160으로 지정해 줌으로써, 모든 이미지의 크기를 (160, 160, 3)

plt.figure(figsize=(10, 5))

get_label_name = metadata.features['label'].int2str

for idx, (image, label) in enumerate(raw_train.take(10)):  # 10개의 데이터를 가져 옵니다.
    plt.subplot(2, 5, idx+1)
    plt.imshow(image)
    plt.title(f'label {label}: {get_label_name(label)}')
    plt.axis('off')

위에꺼가 원래 이미지 아래꺼가 바뀐이미지

plt.figure(figsize=(10, 5))


get_label_name = metadata.features['label'].int2str

for idx, (image, label) in enumerate(train.take(10)):
    plt.subplot(2, 5, idx+1)
    image = (image + 1) / 2
    plt.imshow(image)
    plt.title(f'label {label}: {get_label_name(label)}')
    plt.axis('off')

균일해지기는 했는데 그냥 잡아서 늘리고 줄인건데????? 괜찮나?????

텐서플로우를 활용한 학습시킬 모델 만들기

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Conv2D, Flatten, MaxPooling2D

print("슝~")

슝~

model = Sequential([
    Conv2D(filters=16, kernel_size=3, padding='same', activation='relu', input_shape=(160, 160, 3)),
    MaxPooling2D(),
    Conv2D(filters=32, kernel_size=3, padding='same', activation='relu'),
    MaxPooling2D(),
    Conv2D(filters=64, kernel_size=3, padding='same', activation='relu'),
    MaxPooling2D(),
    Flatten(),
    Dense(units=512, activation='relu'),
    Dense(units=2, activation='softmax')
])

print("슝~")

슝~

model.summary()

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (None, 160, 160, 16)      448       
_________________________________________________________________
max_pooling2d (MaxPooling2D) (None, 80, 80, 16)        0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None, 80, 80, 32)        4640      
_________________________________________________________________
max_pooling2d_1 (MaxPooling2 (None, 40, 40, 32)        0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None, 40, 40, 64)        18496     
_________________________________________________________________
max_pooling2d_2 (MaxPooling2 (None, 20, 20, 64)        0         
_________________________________________________________________
flatten (Flatten)            (None, 25600)             0         
_________________________________________________________________
dense (Dense)                (None, 512)               13107712  
_________________________________________________________________
dense_1 (Dense)              (None, 2)                 1026      
=================================================================
Total params: 13,132,322
Trainable params: 13,132,322
Non-trainable params: 0
_________________________________________________________________

• 4가지 종류의 레이어
  • Conv2D, MaxPooling2D, Flatten, Dense
• 각 레이어를 지나면서 줄어든다
• flatten 계층에서 1차원의 shape가 줄어든다.
• CNN 딥러닝 모델의 특징

맨 왼쪽처럼 이미지 한 장이 입력되면 그 이미지는 Convolutional(합성곱) 연산을 통해 그 형태가 점점 길쭉해지다가, Flatten 레이어를 만나면 오른쪽처럼 한 줄로 펴집니다. 3차원의 이미지를 1차원으로

Flatten을 조금 더 직관적으로 이해하기 위해 배열을 다루기 용이한 numpy를 활용

import numpy as np

image = np.array([[1, 2], [3, 4]])
print(image.shape)
image

(2, 2)





array([[1, 2],
       [3, 4]])

위와 같이 (2,2) 크기의 이미지가 있을 때 이것을 Flatten시키면.
.

image.flatten()

array([1, 2, 3, 4])

모든 숫자를 일렬로 편 상태로

딥러닝 모델은 (160, 160, 3) 크기의 3차원 이미지를 입력받아 여러 레이어를 거치며 형태를 바꾸다가 최종적으로는 몇 개의 숫자를 출력해내는 함수

모델 compile 완료 후 학습시키기

모델 학습

• 모델이 학습하는 데에 필요한 "학습률"(learning_rate)이라는 파라미터를 0.0001로 설정해주고, 모델을 compile 하여 학습할 수 있는 형태로 변환

learning_rate = 0.0001
model.compile(optimizer=tf.keras.optimizers.RMSprop(lr=learning_rate),
              loss=tf.keras.losses.sparse_categorical_crossentropy,
              metrics=['accuracy'])

print("슝~")

슝~

compile을 하기 위해서 필요한 세 가지가

• optimizer
  • 학습을 어떤 방식으로 시킬 것인지 결정
  • 어떻게 최적화시킬 것인지를 결정하기 때문에 최적화 함수
• loss
  • 모델이 학습해나가야 하는 방향을 결정
  • 입력받은 이미지가 고양이인지 강아지인지에 대한 확률분포
  • 이미지가 고양이(label=0)일 경우 모델의 출력이 [1.0, 0.0]에 가깝도록, 강아지(label=1)일 경우 [0.0, 1.0]에 가까워지도록 하는 방향을 제시
• metrics
  • 모델의 성능을 평가하는 척도
  • 분류 문제를 풀 때, 성능을 평가할 수 있는 지표는 정확도(accuracy), 정밀도(precision), 재현율(recall)

모델을 학습시킬 데이터 준비

• 킬 데이터의 개수인 BATCH_SIZE와 학습 데이터를 적절히 섞어줄
  SHUFFLE_BUFFER_SIZE를 설정

BATCH_SIZE = 32
SHUFFLE_BUFFER_SIZE = 1000
print("슝~")

슝~

• BATCH_SIZE에 따라 32개의 데이터를 랜덤으로 뿌려줄 train_batches, validation_batches, test_batches를 만들어 주겠습니다. train_batches는 모델이 끊임없이 학습될 수 있도록 전체 데이터에서 32개를 랜덤으로 뽑아 계속 제공

train_batches = train.shuffle(SHUFFLE_BUFFER_SIZE).batch(BATCH_SIZE)
validation_batches = validation.batch(BATCH_SIZE)
test_batches = test.batch(BATCH_SIZE)
print("슝~")

슝~

train_batches에서 하나의 batch만 꺼내 데이터를 확인

for image_batch, label_batch in train_batches.take(1):
    pass

image_batch.shape, label_batch.shape

(TensorShape([32, 160, 160, 3]), TensorShape([32]))

# image_batch의 shape는 [32, 160, 160, 3]을, label_batch의 shape는 [32]

image_batch의 shape는 (160, 160, 3)의 shape인 32개의 데이터가 존재한다는 뜻이다. 즉, 데이터 하나의 크기는 (160, 160, 3)이고, 그 개수가 32개

label은 강아지이면 1, 고양이이면 0으로 정답 label을 나타내기 때문에 한 batch에 데이터가 32개라면 label은 0 또는 1의 32개의 숫자로만 구성

초기 모델의 성능은 어떤지 확인

• validation(검증)을 하기 위한 데이터셋인 validation_batches를 이용해 20번의 예측을 해 보고, 평균 loss와 평균 accuracy를 확인

validation_steps = 20
loss0, accuracy0 = model.evaluate(validation_batches, steps=validation_steps)

print("initial loss: {:.2f}".format(loss0))
print("initial accuracy: {:.2f}".format(accuracy0))

11/20 [===============>..............] - ETA: 0s - loss: 0.6959 - accuracy: 0.4858

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9


20/20 [==============================] - 26s 31ms/step - loss: 0.6949 - accuracy: 0.5047
initial loss: 0.69
initial accuracy: 0.50


Corrupt JPEG data: 252 extraneous bytes before marker 0xd9

loss는 말 그대로 "손실"이라는 뜻으로, 얼마나 모델이 틀렸는지 나타냅니다. 따라서 loss는 낮을수록 좋은 것이죠. 또한 accuracy는 몇 퍼센트의 정확도를 보이느냐에 대한 수치입니다. 우리는 강아지와 고양이를 분류하려고 하는데, 두 장 중 하나를 찍어도 50%는 나올 테니 지금 모델은 전혀 의미 없는 예측을 하는 것

10 epoch를 학습시켜서 정확도가 어떻게 변하는지 확인해 보겠습니다. 아래 코드는 학습 환경에 따라 약 10~20분 내외

EPOCHS = 10
history = model.fit(train_batches,
                    epochs=EPOCHS,
                    validation_data=validation_batches)

Epoch 1/10
171/582 [=======>......................] - ETA: 18s - loss: 0.6723 - accuracy: 0.5932

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


201/582 [=========>....................] - ETA: 17s - loss: 0.6652 - accuracy: 0.6028

Warning: unknown JFIF revision number 0.00


213/582 [=========>....................] - ETA: 16s - loss: 0.6634 - accuracy: 0.6037

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


285/582 [=============>................] - ETA: 13s - loss: 0.6488 - accuracy: 0.6197

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


493/582 [========================>.....] - ETA: 3s - loss: 0.6145 - accuracy: 0.6561

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


505/582 [=========================>....] - ETA: 3s - loss: 0.6120 - accuracy: 0.6583

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


516/582 [=========================>....] - ETA: 2s - loss: 0.6109 - accuracy: 0.6590

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


542/582 [==========================>...] - ETA: 1s - loss: 0.6073 - accuracy: 0.6632

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


550/582 [===========================>..] - ETA: 1s - loss: 0.6063 - accuracy: 0.6638

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


582/582 [==============================] - ETA: 0s - loss: 0.6021 - accuracy: 0.6680

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 32s 46ms/step - loss: 0.6021 - accuracy: 0.6680 - val_loss: 0.5294 - val_accuracy: 0.7506
Epoch 2/10
169/582 [=======>......................] - ETA: 17s - loss: 0.5214 - accuracy: 0.7378

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


201/582 [=========>....................] - ETA: 15s - loss: 0.5185 - accuracy: 0.7414

Warning: unknown JFIF revision number 0.00


213/582 [=========>....................] - ETA: 15s - loss: 0.5170 - accuracy: 0.7435

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


285/582 [=============>................] - ETA: 12s - loss: 0.5090 - accuracy: 0.7491

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


492/582 [========================>.....] - ETA: 3s - loss: 0.4906 - accuracy: 0.7606

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


506/582 [=========================>....] - ETA: 3s - loss: 0.4910 - accuracy: 0.7604

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


516/582 [=========================>....] - ETA: 2s - loss: 0.4899 - accuracy: 0.7612

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


544/582 [===========================>..] - ETA: 1s - loss: 0.4868 - accuracy: 0.7644

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


550/582 [===========================>..] - ETA: 1s - loss: 0.4872 - accuracy: 0.7641

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


580/582 [============================>.] - ETA: 0s - loss: 0.4848 - accuracy: 0.7657

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 27s 44ms/step - loss: 0.4848 - accuracy: 0.7658 - val_loss: 0.4952 - val_accuracy: 0.7584
Epoch 3/10
169/582 [=======>......................] - ETA: 17s - loss: 0.4497 - accuracy: 0.8014

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


201/582 [=========>....................] - ETA: 16s - loss: 0.4425 - accuracy: 0.8019

Warning: unknown JFIF revision number 0.00


213/582 [=========>....................] - ETA: 15s - loss: 0.4430 - accuracy: 0.8003

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


284/582 [=============>................] - ETA: 12s - loss: 0.4345 - accuracy: 0.8040

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


492/582 [========================>.....] - ETA: 3s - loss: 0.4231 - accuracy: 0.8095

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


506/582 [=========================>....] - ETA: 3s - loss: 0.4229 - accuracy: 0.8100

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


516/582 [=========================>....] - ETA: 2s - loss: 0.4223 - accuracy: 0.8102

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


543/582 [==========================>...] - ETA: 1s - loss: 0.4205 - accuracy: 0.8111

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


549/582 [===========================>..] - ETA: 1s - loss: 0.4204 - accuracy: 0.8112

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


581/582 [============================>.] - ETA: 0s - loss: 0.4183 - accuracy: 0.8117

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 27s 45ms/step - loss: 0.4182 - accuracy: 0.8118 - val_loss: 0.5108 - val_accuracy: 0.7554
Epoch 4/10
170/582 [=======>......................] - ETA: 18s - loss: 0.3974 - accuracy: 0.8208

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


202/582 [=========>....................] - ETA: 16s - loss: 0.3959 - accuracy: 0.8232

Warning: unknown JFIF revision number 0.00


212/582 [=========>....................] - ETA: 16s - loss: 0.3946 - accuracy: 0.8230

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


283/582 [=============>................] - ETA: 12s - loss: 0.3861 - accuracy: 0.8287

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


493/582 [========================>.....] - ETA: 3s - loss: 0.3710 - accuracy: 0.8370

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


505/582 [=========================>....] - ETA: 3s - loss: 0.3701 - accuracy: 0.8373

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


515/582 [=========================>....] - ETA: 2s - loss: 0.3690 - accuracy: 0.8377

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


543/582 [==========================>...] - ETA: 1s - loss: 0.3684 - accuracy: 0.8390

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


549/582 [===========================>..] - ETA: 1s - loss: 0.3690 - accuracy: 0.8386

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


581/582 [============================>.] - ETA: 0s - loss: 0.3667 - accuracy: 0.8396

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 27s 45ms/step - loss: 0.3667 - accuracy: 0.8395 - val_loss: 0.5042 - val_accuracy: 0.7562
Epoch 5/10
170/582 [=======>......................] - ETA: 17s - loss: 0.3392 - accuracy: 0.8524

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


202/582 [=========>....................] - ETA: 15s - loss: 0.3368 - accuracy: 0.8524

Warning: unknown JFIF revision number 0.00


212/582 [=========>....................] - ETA: 15s - loss: 0.3363 - accuracy: 0.8526

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


284/582 [=============>................] - ETA: 12s - loss: 0.3276 - accuracy: 0.8587

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


492/582 [========================>.....] - ETA: 3s - loss: 0.3172 - accuracy: 0.8657

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


506/582 [=========================>....] - ETA: 3s - loss: 0.3175 - accuracy: 0.8654

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


516/582 [=========================>....] - ETA: 2s - loss: 0.3165 - accuracy: 0.8658

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


544/582 [===========================>..] - ETA: 1s - loss: 0.3148 - accuracy: 0.8668

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


550/582 [===========================>..] - ETA: 1s - loss: 0.3144 - accuracy: 0.8672

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


580/582 [============================>.] - ETA: 0s - loss: 0.3125 - accuracy: 0.8677

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 27s 44ms/step - loss: 0.3123 - accuracy: 0.8678 - val_loss: 0.5062 - val_accuracy: 0.7743
Epoch 6/10
170/582 [=======>......................] - ETA: 17s - loss: 0.2838 - accuracy: 0.8801

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


202/582 [=========>....................] - ETA: 16s - loss: 0.2851 - accuracy: 0.8796

Warning: unknown JFIF revision number 0.00


212/582 [=========>....................] - ETA: 15s - loss: 0.2843 - accuracy: 0.8805

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


284/582 [=============>................] - ETA: 12s - loss: 0.2780 - accuracy: 0.8845

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


492/582 [========================>.....] - ETA: 3s - loss: 0.2680 - accuracy: 0.8888

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


506/582 [=========================>....] - ETA: 3s - loss: 0.2670 - accuracy: 0.8888

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


516/582 [=========================>....] - ETA: 2s - loss: 0.2663 - accuracy: 0.8895

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


544/582 [===========================>..] - ETA: 1s - loss: 0.2651 - accuracy: 0.8899

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


550/582 [===========================>..] - ETA: 1s - loss: 0.2643 - accuracy: 0.8905

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


580/582 [============================>.] - ETA: 0s - loss: 0.2630 - accuracy: 0.8904

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 27s 44ms/step - loss: 0.2633 - accuracy: 0.8903 - val_loss: 0.5072 - val_accuracy: 0.7829
Epoch 7/10
169/582 [=======>......................] - ETA: 17s - loss: 0.2425 - accuracy: 0.9042

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


201/582 [=========>....................] - ETA: 15s - loss: 0.2393 - accuracy: 0.9053

Warning: unknown JFIF revision number 0.00


213/582 [=========>....................] - ETA: 15s - loss: 0.2379 - accuracy: 0.9068

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


285/582 [=============>................] - ETA: 12s - loss: 0.2295 - accuracy: 0.9116

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


493/582 [========================>.....] - ETA: 3s - loss: 0.2236 - accuracy: 0.9123

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


505/582 [=========================>....] - ETA: 3s - loss: 0.2229 - accuracy: 0.9126

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


517/582 [=========================>....] - ETA: 2s - loss: 0.2222 - accuracy: 0.9131

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


543/582 [==========================>...] - ETA: 1s - loss: 0.2204 - accuracy: 0.9138

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


549/582 [===========================>..] - ETA: 1s - loss: 0.2201 - accuracy: 0.9139

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


581/582 [============================>.] - ETA: 0s - loss: 0.2192 - accuracy: 0.9142

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 26s 44ms/step - loss: 0.2191 - accuracy: 0.9142 - val_loss: 0.4732 - val_accuracy: 0.7966
Epoch 8/10
170/582 [=======>......................] - ETA: 17s - loss: 0.1912 - accuracy: 0.9316

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


202/582 [=========>....................] - ETA: 15s - loss: 0.1879 - accuracy: 0.9325

Warning: unknown JFIF revision number 0.00


212/582 [=========>....................] - ETA: 15s - loss: 0.1866 - accuracy: 0.9325

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


284/582 [=============>................] - ETA: 12s - loss: 0.1836 - accuracy: 0.9329

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


493/582 [========================>.....] - ETA: 3s - loss: 0.1747 - accuracy: 0.9358

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


505/582 [=========================>....] - ETA: 3s - loss: 0.1742 - accuracy: 0.9360

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


517/582 [=========================>....] - ETA: 2s - loss: 0.1738 - accuracy: 0.9360

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


543/582 [==========================>...] - ETA: 1s - loss: 0.1730 - accuracy: 0.9364

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


549/582 [===========================>..] - ETA: 1s - loss: 0.1728 - accuracy: 0.9365

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


581/582 [============================>.] - ETA: 0s - loss: 0.1714 - accuracy: 0.9368

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 27s 44ms/step - loss: 0.1714 - accuracy: 0.9368 - val_loss: 0.5210 - val_accuracy: 0.7966
Epoch 9/10
169/582 [=======>......................] - ETA: 17s - loss: 0.1495 - accuracy: 0.9482

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


202/582 [=========>....................] - ETA: 15s - loss: 0.1501 - accuracy: 0.9476

Warning: unknown JFIF revision number 0.00


212/582 [=========>....................] - ETA: 15s - loss: 0.1515 - accuracy: 0.9462

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


283/582 [=============>................] - ETA: 12s - loss: 0.1447 - accuracy: 0.9483

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


493/582 [========================>.....] - ETA: 3s - loss: 0.1369 - accuracy: 0.9519

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


505/582 [=========================>....] - ETA: 3s - loss: 0.1363 - accuracy: 0.9522

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


515/582 [=========================>....] - ETA: 2s - loss: 0.1356 - accuracy: 0.9523

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


543/582 [==========================>...] - ETA: 1s - loss: 0.1334 - accuracy: 0.9534

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


549/582 [===========================>..] - ETA: 1s - loss: 0.1332 - accuracy: 0.9535

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


581/582 [============================>.] - ETA: 0s - loss: 0.1325 - accuracy: 0.9539

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 27s 44ms/step - loss: 0.1325 - accuracy: 0.9538 - val_loss: 0.5836 - val_accuracy: 0.7928
Epoch 10/10
170/582 [=======>......................] - ETA: 17s - loss: 0.1139 - accuracy: 0.9601

Corrupt JPEG data: 99 extraneous bytes before marker 0xd9


202/582 [=========>....................] - ETA: 15s - loss: 0.1123 - accuracy: 0.9618

Warning: unknown JFIF revision number 0.00


212/582 [=========>....................] - ETA: 15s - loss: 0.1119 - accuracy: 0.9617

Corrupt JPEG data: 396 extraneous bytes before marker 0xd9


284/582 [=============>................] - ETA: 12s - loss: 0.1117 - accuracy: 0.9624

Corrupt JPEG data: 65 extraneous bytes before marker 0xd9


493/582 [========================>.....] - ETA: 3s - loss: 0.1040 - accuracy: 0.9649

Corrupt JPEG data: 2226 extraneous bytes before marker 0xd9


505/582 [=========================>....] - ETA: 3s - loss: 0.1033 - accuracy: 0.9653

Corrupt JPEG data: 128 extraneous bytes before marker 0xd9


517/582 [=========================>....] - ETA: 2s - loss: 0.1036 - accuracy: 0.9652

Corrupt JPEG data: 239 extraneous bytes before marker 0xd9


543/582 [==========================>...] - ETA: 1s - loss: 0.1018 - accuracy: 0.9660

Corrupt JPEG data: 1153 extraneous bytes before marker 0xd9


549/582 [===========================>..] - ETA: 1s - loss: 0.1015 - accuracy: 0.9660

Corrupt JPEG data: 228 extraneous bytes before marker 0xd9


581/582 [============================>.] - ETA: 0s - loss: 0.1013 - accuracy: 0.9663

Corrupt JPEG data: 162 extraneous bytes before marker 0xd9
Corrupt JPEG data: 252 extraneous bytes before marker 0xd9
Corrupt JPEG data: 214 extraneous bytes before marker 0xd9


582/582 [==============================] - 27s 44ms/step - loss: 0.1013 - accuracy: 0.9663 - val_loss: 0.6586 - val_accuracy: 0.7829

예측 결과확인

• 모두 학습이 되었나요? 총 10 epoch를 학습한 후, 정확도가 어느 정도까지 올랐나

• Accuracy

  • 첫 번째 accuracy는 훈련 데이터셋에 대한 정확도입니다. 학습하고 있는 데이터에 대한 정확도이죠.
  • 두 번째 val_accuracy는 검증 데이터셋에 대한 정확도입니다. 학습하지 않고 있는, 즉 해당 학습 단계에서 보지 않은 데이터에 대한 정확

그래프로 확인

• 10 epoch를 모두 학습한 후에는 훈련 데이터셋에 대한 정확도는 약 90% 남짓, 검증 데이터셋에 대한 accuracy는 약 80% 조금 못 미치게 나왔을 것입니다. 학습 단계에 따른 정확도 변화를 그래프로 확인

acc = history.history['accuracy']
val_acc = history.history['val_accuracy']

loss=history.history['loss']
val_loss=history.history['val_loss']

epochs_range = range(EPOCHS)

plt.figure(figsize=(12, 8))
plt.subplot(1, 2, 1)
plt.plot(epochs_range, acc, label='Training Accuracy')
plt.plot(epochs_range, val_acc, label='Validation Accuracy')
plt.legend()
plt.title('Training and Validation Accuracy')

plt.subplot(1, 2, 2)
plt.plot(epochs_range, loss, label='Training Loss')
plt.plot(epochs_range, val_loss, label='Validation Loss')
plt.legend()
plt.title('Training and Validation Loss')
plt.show()

정확도(accuracy)와 손실값(loss)에 대한 두 가지 그래프를 그려보았습니다. 두 그래프 모두 훈련 데이터셋에 대한 수치와 검증 데이터셋에 대한 수치

총 10 epoch를 진행하는 동안 training accuracy와 validation accuracy는 어떻게 변화하나요? 각 accuracy가 그렇게 변하는 이유

• training accuracy는 10 epoch를 진행하는 동안 꾸준히 증가한다. 마지막에는 거의 90%를 넘어서는 수치를 보인다.

• 반면, validation accuracy는 초반에 75%~80% 사이까지는 증가하지만 증가폭이 training dataset에 비해 매우 적고, 증가하는 양상도 불안정하다.

• training accuracy는 현재 학습하는 데이터셋에 대한 정확도이기 때문에 모델의 구조나 데이터셋 등에 문제가 없다면 일반적으로 학습하면 할수록 꾸준히 계속 오른다. 반면 validation accuracy는 학습하지 않은 데이터셋에 대한 정확도이기 때문에 일정수준까지 오른 후에는 계속 오를지 장담할 수 없다.

• training accuracy는 꾸준히 오르지만 validation accuracy는 어떤 한계선을 넘지 못하는 것

• loss 그래프에서 training loss는 계속 안정적으로 줄어들지만, validation loss값은 특정 순간 이후로 다시 커지는 모습

• 이러한 문제를 칭하는 용어는

과적합(Overfitting, 오버피팅)

• 모델의 성능이 제대로 올라가려면 "학습하지 않은" 데이터에 대해서도 성능이 좋아야 하는데, 훈련 데이터만으로 계속 학습하다 보니 그 데이터에만 과도하게 적합(fitting) 되어서 일반화 능력이 떨어지게 되는 것
• 딥러닝 모델을 학습시킬 때는 과적합 문제를 예민하게 다루고, 과적합이 되지 않는 순간을 잘 잡아내 일반화가 잘 되는 모델로 학습시키는 것이 중요

for image_batch, label_batch in test_batches.take(1):
    images = image_batch
    labels = label_batch
    predictions = model.predict(image_batch)
    pass

predictions

array([[9.9761641e-01, 2.3835611e-03],
       [5.9462464e-01, 4.0537530e-01],
       [1.3369282e-01, 8.6630714e-01],
       [9.9969792e-01, 3.0216199e-04],
       [5.5195206e-01, 4.4804800e-01],
       [8.3197273e-02, 9.1680270e-01],
       [2.3315031e-04, 9.9976689e-01],
       [8.1265157e-01, 1.8734843e-01],
       [1.0383534e-01, 8.9616460e-01],
       [5.6698918e-01, 4.3301082e-01],
       [5.5843964e-03, 9.9441564e-01],
       [9.9648523e-01, 3.5148002e-03],
       [9.9378610e-01, 6.2139085e-03],
       [8.3754794e-04, 9.9916244e-01],
       [9.9590296e-01, 4.0970314e-03],
       [9.9773228e-01, 2.2677223e-03],
       [2.1256688e-01, 7.8743309e-01],
       [4.8445108e-06, 9.9999511e-01],
       [5.8668250e-01, 4.1331753e-01],
       [9.9996424e-01, 3.5768771e-05],
       [3.8094068e-01, 6.1905932e-01],
       [6.3675117e-01, 3.6324883e-01],
       [9.9929571e-01, 7.0431735e-04],
       [9.3341851e-01, 6.6581517e-02],
       [2.9821005e-01, 7.0178992e-01],
       [1.7958991e-02, 9.8204100e-01],
       [9.9986172e-01, 1.3824736e-04],
       [1.5848826e-01, 8.4151173e-01],
       [9.6713167e-01, 3.2868307e-02],
       [9.4930458e-01, 5.0695356e-02],
       [9.7832263e-01, 2.1677295e-02],
       [5.2817100e-01, 4.7182900e-01]], dtype=float32)

• predictions가 엄청난 소수점 값들로 이루어져 있군요. 이 값은 모델이 판단한 [고양이일 확률, 강아지의 확률]인데, [1.0, 0.0]에 가까울수록 label이 0인 고양이로, [0.0, 1.0]에 가까울수록 label이 1인 강아지로 예측했다고 볼 수 있음

• prediction 값들을 실제 추론한 라벨(고양이:0, 강아지:1)로 변환해 보겠습니다. 실제로 모델이 각 이미지를 강아지라고 판단했는지, 고양이로 판단했는지 보기 위해

predictions = np.argmax(predictions, axis=1)
predictions

array([0, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 0, 0, 1, 0, 0, 1, 1, 0, 0, 1, 0,
       0, 0, 1, 1, 0, 1, 0, 0, 0, 0])

plt.figure(figsize=(20, 12))

for idx, (image, label, prediction) in enumerate(zip(images, labels, predictions)):
    plt.subplot(4, 8, idx+1)
    image = (image + 1) / 2
    plt.imshow(image)
    correct = label == prediction
    title = f'real: {label} / pred :{prediction}\n {correct}!'
    if not correct:
        plt.title(title, fontdict={'color': 'red'})
    else:
        plt.title(title, fontdict={'color': 'blue'})
    plt.axis('off')

count = 0   # 정답을 맞춘 개수
for image, label, prediction in zip(images, labels, predictions):
    correct = label == prediction
    if correct:
        count = count + 1
        
print(count / 32 * 100)