Introduction

TF -2 에는 총 3문제가 나옵니다.
2문제는 이미지 분류
1문제는 정형 데이터

여기서는 기본 개념을 알아보고 다음 part 3에서 Fashion Mnist에 대해서 실습을 진행해 보도록 합시다.

CheckPoint

과적합의 방지를 위해서 Valid data가 최적의 Loss를 가지는 부분을 저장하고 이를 불러오는 방식으로 사용할 것입니다.

early stopping을 하지않고, 학습은 epoch끝까지 이루어지되, 최적의 CheckPoint의 weight를 저장하고 이를 사용하는 방식입니다.

너무 많은 학습은 test data에 대해서 개판인 결과가 나올 겁니다.
이 부분이 이해가 안된다면, 과적합 파트를 살펴보시길 바랍니다.

garyscale 영상의 경우 1channel로 0~255의 픽셀 데이터를 갖습니다.
0~255 사이의 범위를 0~1사이의 범위로 정규화(Normalization) 해주는 과정이 필요합니다.

원핫 인코딩과는 다릅니다. 단순히 데이터를 정규화입니다.
이 과정을 왜 해주냐고요?

그냥 합니다. 항상 해왔고, 모두가 그렇게 합니다.

범위가 크다보면 미분량의 계산이 그만큼 크기에 모델의 학습이 진동하거나, 제대로 학습이 안되는 불안정하게 나올 경우가 큽니다.

정규화를 안하셔도, 모델은 잘 학습되고 굴러갑니다.
하지만 정규화를 한다면 더 학습이 잘 되는 것을 직접확인 해 보시면 증명되고 이해됩니다.

그 정도로만 알아둡시다.

원핫 인코딩

컴퓨터는 0, 1의 숫자밖에 모르는 애입니다.
근데 문자, 그것도 한글인 봄, 여름, 가을, 겨울을 알아먹으라고하고 학습하라고 하면 얘가 알아먹고 학습할까요?

불가능합니다. 한글을 언제 배우고 앉아있겠습니까?

따라서 이를 원핫 인코딩이라는 방법을 사용합니다.

다음과 같이 n차원의 백터로 표현하면 됩니다.

activation Function

활성함수라고 합니다.
왜 이게 필요할까요?

아래 사진을 봅시다.

Dense Layer하나는 '선형 함수' 입니다.
선형 함수라는 것은 직선을 나타내는 즉, 선의 형태입니다.
이러한 선형 함수만의 층을 쌓으면 문제가 발생합니다.

무슨 문제일까요?

선형함수만으로는 층을 쌓는 의미가 없어집니다.

층을 쌓는 이유는 더 어렵고 복잡한 문제들, 자율 주행이나 챗봇 알파고와같은 더욱 복잡한 그런 것들을 해결하기위해 깊은 층이 필요합니다.

근데, 선형으로 이루어진 Dense Layer들만으로 쌓으면 문제가 발생합니다.
y = ax + b 를 몇십번 곱해봤자, 결국 "선형"입니다. 직선하나 띡 그어서는 해결 할 수 있는 문제가 매우매우 한정적입니다.

즉, 이러한 선형은 어려운 문제를 해결하기에는 불가능합니다.

우리는 어렵고 복잡한 더욱 다양한 문제를 해결하기 위해서는 곡선(비선형)이 필요합니다.

따라서 "비선형"함수를 층의 중간중간에 추가해줍니다.(ReLU와 같은, ReLU를 사용하는 이유또한 설명했습니다.)
이렇게 되면 선형 x 비선형 = 비선형 이되므로, 가능하게 되므로 선형으로 해결 하지못하는 xor과 같은 문제를 해결할 수 있다는 뜻과 동일합니다.

Softmax, Sigmoid의 Loss Function

각각 다른 비용함수를 사용합니다.
비용함수(Cost Fuction)이란 wegiht에 따른 loss를 나타낸 그래프 입니다.
이러한 함수를 경사하강법을 통해서 해당 그래프의 loss값이 최소가 되는 weight를 찾는 방향으로 모델은 update되게 되죠.

Softmax

Class가 여러개(2개 이상) 있을 때 분류하는 것입니다.
해당 a, b, c가 있을 때 (0.2, 0.3, 0,5)와 같이 총 합이 1이 되는 확률로 나오게 되고, 해당 확률값 중 가장 큰 C로 분류가 됩니다.

sigmoid

Class가 2개 즉, 이진 분류 문제에서 사용합니다.
a, b 2개의 Class가 있을 때 0.5보다 크면 1, 0.5보다 작으면 0으로 분류되도록 하여 이진 분류를 수행합니다.

Binary Cross Entropy & Categorical Cross Entropy

사실 둘 차이는 거의 없습니다.
왜냐면 Cross Entropy에서 앞에 2개 선택한 것이 BCE이기 때문이죠.

하지만, Softmax에서는 Cross Entroy를 사용하고, BCE를 사용합니다.
이는 단지 이진분류와, 다중 분류의 문제이기에 따로 사용하는 것 뿐입니다.
여러개니까 여러개 쓰는 거고 이진이니까 2개만 분류하면되는 binary(이진)을 사용하는 것입니다.

Sparse Categorical Crossentropy는?

원핫 인코딩이 되지않은 데이터에 대해서 원핫 인코딩을 수행해주는 loss Function입니다.
원핫 인코딩의 이점에 대해서는 위에서 서술 했습니다.

sigmoid를 사용하는 곳에 sparse_binary_crossentroy와 같은 loss function이 없을까요?

네 없습니다. 따라서 이진 분류를 수행하는데 있어, 만약 원핫인코딩이 필요한 경우라면 Dense(2, activation=softmax)와 같이 다중분류이지만 2이상인 경우로 하여 분류를 수행하면 됩니다.