[AIS7] DL (5)

배운 내용 복습

🤔 ReLU를 통과한 피처맵을 무엇이라 부를까요?
A: activation map

🤔 MaxPooling 을 하게 되면 어떻게 될까요?
A: 가로세로의 길이가 줄고, 일정한 영역에서 가장 큰 값만 남습니다. 디테일한 부분까지 학습을 하지 않기 때문에 과대적합을 방지하고 처리속도 향상시킨다.

🤔 Softmax 는 어떻게 결과를 처리할까요?
멀티클래스 분류에 주로 사용합니다. 출력값이 n개의 확률로 나오고, n개의 확률값의 합이 1 입니다. 가장 큰 확률값을 클래스의 답으로 사용합니다.

🤔 가장 큰 확률값을 찾는 방법은 무엇일까요?
np.argmax() 를 사용하면 가장 큰 확률값에 대한 인덱스를 반환합니다. 가장 큰 값의 인덱스를 답으로 사용합니다.

🤔 binary 분류에는 출력 activation으로 무엇을 사용할까요?
Sigmoid

🤔 Sigmoid의 특징?
히든 레이어에서 activation 을 사용했을 때 역전파 단계에서 미분값이 0이되는 기울기소실문제가 발생한다.
출력층에서 사용했을 때 0~1 사이의 확률값을 반환하며 임계값(보통은 0.5)을 기준으로 분류한다.

꽃 이미지 분류 실습

https://www.tensorflow.org/tutorials/images/classification

📌 이미지 사이즈 고정

# 이미지 사이즈 고정
batch_size = 32   # 일부 이미지만 불러와서 학습
img_height = 180
img_width = 180

train_ds = tf.keras.utils.image_dataset_from_directory(
  data_dir,
  validation_split=0.2,
  subset="training",
  seed=123,
  image_size=(img_height, img_width),
  batch_size=batch_size)

이미지 사이즈가 다 다르면 계산을 할 수 없기 때문에 사이즈도 맞춰줄 필요가 있습니다.

🤔 이미지 사이즈를 작게 만들면 어떤 결과가 나올까요?
이미지가 왜곡되거나 손실될 수도 있지만 계산량이 줄어들기 때문에 빠르게 학습합니다.

🤔 사이즈를 크게 하면 어떻게 될까요?
마찬가지로 작은 이미지를 늘리면 왜곡될 수도 있지만 더 자세히 학습하기 때문에 성능이 좋을 수 있습니다. 계산시간은 오래 걸리지만 분류모델이라면 정확도가 더 높아집니다.

🤔 이미지 사이즈가 다 다를 때 어떤 사이즈로 만들어주는게 좋을까요?
이미지사이즈가 클때, 작을때 장단점이 있습니다. 계산편의를 위해 보통 정사각형 형태로 만들어줍니다.

PIL , OpenCV 등을 내부에서 사용하고 있는데 우리가 포토샵에서 이미지 사이즈 줄이는 것 처럼 이미지 사이즈를 조정해 줍니다.

📌 성능을 높이도록 데이터세트 구성하기

• Dataset.cache()는 첫 epoch 동안 디스크에서 이미지를 로드한 후 이미지를 메모리에 유지합니다. 이렇게 하면 모델을 훈련하는 동안 데이터세트가 병목 상태가 되지 않습니다. 데이터세트가 너무 커서 메모리에 맞지 않는 경우, 이 메서드를 사용하여 성능이 높은 온디스크 캐시를 생성할 수도 있습니다.
• Dataset.prefetch는 훈련하는 동안 데이터 전처리 및 모델 실행을 중첩시킵니다.

AUTOTUNE = tf.data.AUTOTUNE

train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)
val_ds = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

📌 Keras 모델 만들기

num_classes = len(class_names)

model = Sequential([

# Rescaling 기능을 사용하면 간편하게 스케일링 할 수 있다.
  layers.Rescaling(1./255, input_shape=(img_height, img_width, 3)),

# Conv, MaxPooling: 특징을 찾는 과정
  layers.Conv2D(filters=16, kernel_size=3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(filters=32, kernel_size=3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Conv2D(filters=64, kernel_size=3, padding='same', activation='relu'),
  layers.MaxPooling2D(),
  layers.Flatten(),   # 평탄화
# 평탄화 하고 난 후엔 filters가 아닌 units
  layers.Dense(units=128, activation='relu'),
  layers.Dense(num_classes)
])

🤔 왜 과대적합 되었을까?

한 가지 이유로 단정하기는 어렵지만 가장 성능이 안 좋게 나온 중점적인 이유를 찾는다면 이미지 전처리가 제대로 되어있지 않습니다. 노이즈 데이터가 많습니다.
훈련 예제가 적을 때 모델은 새로운 예제에서 모델의 성능에 부정적인 영향을 미치는 정도까지 훈련 예제의 노이즈나 원치 않는 세부까지 학습합니다. 이 현상을 과대적합이라고 합니다. 이는 모델이 새 데이터세트에서 일반화하는 데 어려움이 있음을 의미합니다.

훈련 과정에서 과대적합을 막는 여러 가지 방법들이 있습니다. 이 튜토리얼에서는 데이터 증강을 사용하고 모델에 드롭아웃을 추가합니다.

📌 데이터 증강

💡 데이터 증강이란?
과대적합은 일반적으로 훈련 예제가 적을 때 발생합니다. 데이터 증강은 증강한 다음 믿을 수 있는 이미지를 생성하는 임의 변환을 사용하는 방법으로 기존 예제에서 추가 훈련 데이터를 생성하는 접근법을 취합니다. 그러면 모델이 데이터의 더 많은 측면을 파악하게 되므로 일반화가 더 쉬워집니다.

Keras 전처리 레이어 tf.keras.layers.RandomFlip, tf.keras.layers.RandomRotation, tf.keras.layers.RandomZoom을 사용하여 데이터 증강을 구현합니다. 다른 레이어처럼 이를 모델 내부에 포함시키고 GPU에서 실행할 수 있습니다.

data_augmentation = keras.Sequential(
  [
    layers.RandomFlip("horizontal",
                      input_shape=(img_height,
                                  img_width,
                                  3)),
    layers.RandomRotation(0.1),
    layers.RandomZoom(0.1),
  ]
)

Output:

💡 증강기법과 dropout을 사용한 후의 output

과대적합 현상이 확연히 줄어든 것을 확인 할 수 있다.

📌 Summary

1) TF공식예제의 이미지 분류 튜토리얼을 진행하고 있습니다.
2) 해당 튜토리얼은 꽃 5가지 이미지를 학습하고 분류하는 예제입니다.
['daisy', 'dandelion', 'roses', 'sunflowers', 'tulips'] 5가지 꽃을 분류해 보는 예제입니다.
3) 이미지 데이터를 불러와서 train, valid set 를 나누어 주었습니다.
4) 리소스를 효율적으로 사용하기 위해 캐시 사용하는 예제를 봤고
5) 0~1 사이로 정규화 해주는 예제를 봤습니다. => Rescaling 레이어에 추가해 줄 수도 있습니다.
6) 기본 레이어로 학습을 했더니 성능이 안 좋게 나왔습니다. => 이미지에 노이즈가 너무 많았어요.
7) 훈련 과정에서 과대적합을 막는 여러 가지 방법들이 있습니다. 이 튜토리얼에서는 데이터 증강을 사용하고 모델에 드롭아웃을 추가합니다.
8) tf.keras.layers.RandomFlip, tf.keras.layers.RandomRotation, tf.keras.layers.RandomZoom 이런 전처리 기능을 사용하면 데이터 증강기법을 통해 이미지를 다양하게 생성해서 학습을 진행할 수 있습니다.
9) 데이터 증강기법을 통해 오버피팅이 줄어든것을 확인해 볼 수 있습니다.

MNIST(손글씨 이미지로 0~9 숫자), FMNIST(의류 10가지 이미지) 는 전처리가 잘 되어있기 때문에 기본 모델로 만들어도 99% 까지의 Accuracy가 나왔었습니다.
꽃 이미지에는 노이즈가 많기 때문에 Accuracy 가 데이터 증강, Dropout을 했을 때 0.6대에서 0.7정도로 정확도가 높아졌습니다.
=> 지금까지 한 실습은 TF공식예제에 있는 CNN 기본 레이어 구성과 데이터증강 기법을 알아보았습니다.

1001 실습

📌 이미지 로드 방법

이미지를 로드하는 방법에는 여러가지가 있습니다.

1) matplotlib.pyplot imread() 를 사용하는 방법
=> 이미지를 배열 형태로 불러오게 된다.

2) PIL(Pillow) 로 불러오는 방법 => PIL 로 접고돌리고땡기고가 다 가능합니다. TF 내부에서도 PIL 이나 OpenCV를 사용해서 접고돌리고땡기고를 합니다.
=> 이미지 편집기를 만들 수도 있습니다.

• 픽셀 단위의 조작
  • 마스킹 및 투명도 제어
  • 흐림, 윤곽 보정 다듬어 윤곽 검출 등의 이미지 필터
  • 선명하게, 밝기 보정, 명암 보정, 색 보정 등의 화상 조정
  • 이미지에 텍스트 추가

💡 resize 로 이미지 사이즈를 변경할 수 있다.

original.resize((150, 150))    

3) OpenCV로 불러오는 방법(Computer Vision)에 주로 사용하는 도구로 동영상처리 등에 주로 사용합니다. 실시간 컴퓨터 비전을 목적으로 한 프로그래밍 라이브러리

1002 실습 (말라리아 혈액도말 이미지 분류 실습)

💡 실습목적: TF공식 문서의 이미지 분류를 다른 이미지를 사용해서 응용해 보는 것입니다.

✅ Keras의 ImageDataGenerator() 가 지원하는 이미지 변환 유형

공간 레벨 변형

• Flip : 상하, 좌우 반전
• Rotation : 회전
• Shift : 이동
• Zoom : 확대, 축소
• Shear : 눕히기

픽셀 레벨 변형

• Bright : 밝기 조정
• Channel Shift : RGB 값 변경
• ZCA Whitening : Whitening 효과

🤔 원본이미지와 비교했을 때 권장하는 이미지크기는 따로 없나요?
이미지의 사이즈는 임의대로 해도 상관없지만, 딥러닝의 경우 Network 모델의 입력 사이즈와 반드시 동일하게 해주셔야합니다! 참고로 CNN의 대표적인 모델들은 네트워크 입력사이즈가 224 * 224인 경우가 많습니다

📌 학습과 검증 데이터 셋 만들기

💡 학습 데이터 셋 만들기
# flow_from_directory 를 통해 이미지를 불러옵니다.
# training 데이터셋을 생성합니다.
# class_mode 에는 이진분류이기 때문에 binary 를 넣어줍니다. => 감염/비감염 분류

# class_mode: One of "categorical", "binary", "sparse",
#     "input", or None. Default: "categorical".
# subset: Subset of data ("training" or "validation")

trainDatagen = datagen.flow_from_directory(directory = 'cell_images/',
                                           target_size = (height, width),
                                           class_mode = 'binary',
                                           batch_size = 64,
                                           subset='training')

💡 검증 데이터 셋 만들기
valDatagen = datagen.flow_from_directory(directory = 'cell_images/',
                                         target_size =(height, width),
                                         class_mode = 'binary',
                                         batch_size = 64,
                                         subset='validation')

📌 레이어 설정

• filters : 컨볼루션 필터의 수 >> 필터 수 = 특징맵 수
• kernel_size : 컨볼루션 커널의 (행, 열) >> 필터 사이즈
• padding : 경계 처리 방법
  • ‘valid’ : 유효한 영역만 출력이 됩니다. 따라서 출력 이미지 사이즈는 입력 사이즈보다 작습니다.
  • ‘same’ : 출력 이미지 사이즈가 입력 이미지 사이즈와 동일합니다.
• input_shape : 모델에서 첫 레이어에서 정의 (height, width, channels)
• activation : 활성화 함수 설정
  • ‘linear’ : 디폴트 값, 입력뉴런과 가중치로 계산된 결과값이 그대로 출력
  • ‘relu’ : rectifier 함수, 은닉층에 주로 사용
  • ‘sigmoid’ : 시그모이드 함수, 이진 분류 문제에서 출력층에 주로 사용
  • ‘softmax’ : 소프트맥스 함수, 다중 클래스 분류 문제에서 출력층에 주로 사용

이미지 출처: https://d2l.ai/chapter_convolutional-neural-networks/lenet.html

🤔 이 이미지에서 피처맵은 몇 개 일까요?
2개 (filter1 + filter2)

🤔 이 이미지에서 kernel_size 는 어떻게 될까요?
4 x 4, output kernerl_size == 3 x 3

model = Sequential()

# 입력층
model.add(Conv2D(filters=16, kernel_size=(3,3), padding='valid',
                 activation='relu', input_shape=(height, width, 3)))
model.add(Conv2D(filters=16, kernel_size=(3,3), padding='same',
                 activation='relu'))
model.add(MaxPool2D(pool_size=(2,2), strides=1))

model.add(Conv2D(filters=16, kernel_size=(3,3), padding='same',
                 activation='relu'))
model.add(Conv2D(filters=16, kernel_size=(3,3), padding='same',
                 activation='relu'))
model.add(MaxPool2D(pool_size=(2,2), strides=1))

model.add(Dropout(0.2)) # 20%는 0으로 대체해서 오버피팅 방지

# Fully-connected layer
model.add(Flatten())
model.add(Dense(units=64, activation='relu'))
model.add(Dense(units=32, activation='relu'))

# 출력층
model.add(Dense(1, activation='sigmoid'))  # binary classifcation

📌 Summary

1) 이미지 데이터 불러오기 wget 을 사용하면 온라인 URL 에 있는 파일을 불러올 수 있습니다.
논문(혈액도말 이미지로 말라리아 감염여부를 판단하는 논문)에 사용한 데이터셋을 불러왔습니다.
2) plt.imread 와 cv2(OpenCV) 의 imread 를 통해 array 형태로 데이터를 불러와서 시각화를 해서 감염된 이미지와 아닌 이미지를 비교해 봤습니다.
3) TF.keras의 전처리 도구를 사용해서 train, valid set을 나눠주었습니다.
4) 앞으로 할 내용은 CNN 레이어를 구성, 컴파일 하고 학습하고 정확도(Accuray) 성능을 비교해볼 예정입니다.

💡 참고

• 벡터 데이터(시간이나 순서가 상관 없음): MLP (밀집층)
• 이미지 데이터(흑백 또는 컬러): 2D 합성곱 신경망
• 스펙트로그램 오디오 데이터: 2D 합성곱 신경망이나 순환 신경망
• 텍스트 데이터: 1D 합성곱 신경망이나 순환 신경망
• 시계열 데이터(시간이나 순서가 중요함): 1D 합성곱 신경망이나 순환 신경망
• 볼륨 데이터(예: 3D 의료 이미지): 3D 합성곱 신경망
• 비디오 데이터(이미지의 시퀀스): 3D 합성곱 신경망(모션 효과를 감지해야 하는 경우) 또는 특성 추출을 위해 프레임 별로 적용한 2D 합성곱 신경망과 만들어진 특성 시퀀스를 처리하기 위한 RNN이나 1D 합성곱 신경망의 조합

🤔 합성곱 신경망이란?

합성곱 층은 입력받은 텐서에서 공간적으로 다른 위치에 기하학적 변환을 적용하여 국부적인 공간 패턴을 찾습니다.
이런 방식은 이동 불변성을 가진 표현을 만들기 때문에 합성곱 층을 매우 데이터 효율적으로 만들고 모듈화 시킵니다.
위와 같은 아이디어는 어떤 차원 공간에도 적용할 수 있기 때문에 1D(시퀀스), 2D(이미지나 이미지가 아니자만 사운드 스펙트로그램처럼 비슷한 표현), 3D(볼륨 데이터) 등입니다.
텐서플로우에서는 conv1d 층으로 시퀀스를 처리하고, conv2d층으로 이미지를 처리하고, conv3d 층으로 볼륨 데이터를 처리할 수 있습니다.
합성곱 신경망은 합성곱 층과 풀링 층을 쌓아서 구성하게 됩니다. 풀링 층은 공간적으로 데이터를 다운샘플링하고 이는 특성 개수가 늘어나게되면 후속 층이 합성곱 신경망의 입력 이미지에서 더 많은 공간을 바라보도록 특성 맵의 크기를 적절하게 유지시킵니다.
합성곱 신경망은 공간적인 특성 맵을 벡터로 바꾸기 위해 종종 flatten 층과 전역 풀링 층으로 끝납니다. 그리고 일련의 밀집층(MLP)로 처리하여 분류나 회귀 출력을 만들게 됩니다.

---

📌 책 추천

• 💡 혼공머신러닝 https://tensorflow.blog/hg-mldl/
  => 쉬운 설명
• 케라스 창시자에게 배우는 딥러닝 개정 2판 https://thebook.io/080315/
  => 내용이 많고 초보자가 보기에는 조금 어려울 수도 있습니다.
• 핸즈온머신러닝 https://tensorflow.blog/handson-ml2/
  => 사이킷런과 TF를 다룹니다. 두껍고 자세합니다.
• 파이썬 라이브러리를 활용한 머신러닝 https://tensorflow.blog/python-ml-2nd-revised/
  => 사이킷런 개발자가 썼고 공식문서 기반입니다. 공식문서에 가장 가까운 책입니다.
• 파이썬 머신러닝 완벽 가이드 http://www.yes24.com/Product/Goods/108824557

🖇 박해선님 깃헙 https://github.com/rickiepark

---

🙋🏻‍♀️ 질문

Q: 튤립 이미지를 미리 보기했는데 이 이미지를 학습했을 때 어떤 문제가 있을까요?

A: 이미지데이터를 분류할때도 전처리가 중요합니다. 좋은 데이터를 넣어주어야 학습결과가 좋게 나옵니다.

---

🦁 질문

Q: pooling은 stride가 고정인가요?
A: stride 값을 조정할 수 있습니다.

Q: 이미지 사이즈별 단점을 convolution 구조에서 다양한 설정 방법으로 보완 가능한가요?
A: 이미지 사이즈도 하이퍼파라미터처럼 조정을 하면 성능이 달라지고 Conv, Pooling 도 성능에 영향을 줍니다. 어떤식으로 레이어를 구성하냐에 따라 보완이 가능하기도 합니다.

Q: 마지막 epochs에서 metrics가 떨어졌으면 최종 모델 파라미터는 마지막 epochs로 세팅되나요 metrics가 가장 좋을 때 기준으로 세팅되나요?
A: 마지막에 학습한 결과로 예측하기 때문에 오버피팅이 되었는지 학습, 검증 셋을 비교해 보는 이유이기도 합니다.

---

✏️ TIL

• 사실(Fact): CNN 실습을 했다.
• 느낌(Feeling): 코드가 대부분 입력되어 있는 파일로 실습했기 때문에 막상 혼자 코드를 짜려하면 힘들것 같다.
• 교훈(Finding): 힘내자.