[GAN] (Generative Adversarial Network)

https://www.youtube.com/watch?v=BZwUR9hvBPE

GAN: Generative Adversarial Networks (꼼꼼한 딥러닝 논문 리뷰와 코드 실습)

생성적 적대 신경망이라고 한다.

경쟁을 통해서 배우는 개념의 기술이다.

https://youtu.be/N9ewzLUZhL8

https://youtu.be/8L11aMN5KY8

https://youtu.be/8L11aMN5KY8

실제 있을것 같은 뭔가를 만들어낸다 관점에서

생성을 잘 해낼 수 있다라는 관점으로 본다면

Pix2Pix라는 망을 이용하게 되면

Pix2Pix라는 네트웍이 더 발전된 [CycleGAN]

NG = No Good

판별자(분류)와 생성자(클러스터링)

생성모델의 목표

• 모델 G의 학습이 잘 되었다면 원본 데이터의 분포를 근사할 수 있다.
  • 학습이 잘 되었다면 통계적으로 평균적인 특징을 가지는 데이터를 쉽게 생성 할 수 있다.

[DCGAN] (Deep Convolutional Generative Adversarial Network)

Generative Adversarial적대적인 Network-2014년 Ian Goodfellow

생성자(Generator)는 아무 의미 없는 랜덤 노이즈로부터 신경망에서의 연산을 통해 이미지 형상의 벡터를 생성해 냅니다. 즉, 무에서 유를 창조하는 것과 같은 역할을 합니다

Generative Model

.판별자(Discriminator)는 기존에 있던 진짜 이미지와 생성자가 만들어낸 이미지를 입력받아 각 이미지가 Real 인지, Fake 인지에 대한 판단 정도를 실숫값으로 출력합니다.

Discriminative Model

위조화폐를 만드는 범인과 경찰이 싸우듯이. 게임의 경쟁을 통해서 위조품이 진품처럼 만들때까지 성능을 개선한다.

DCGAN(Deep Convolutional GAN)- 2015

def make_generator_model():

    # Start
    model = tf.keras.Sequential()

    # First: Dense layer
    model.add(layers.Dense(7*7*256, use_bias=False, input_shape=(100,)))
    model.add(layers.BatchNormalization())
    model.add(layers.LeakyReLU())
		# input_shape=(100,))) 배치사이즈(1),100 의 한줄벡터 생성
		#그후 7x7x256 12544 개 덴스레이어를 거쳐서 batch,12544
		#그후 3차원의 벡터로 변환

    # Second: Reshape layer
    model.add(layers.Reshape((7, 7, 256)))

    # Third: Conv2DTranspose layer
    model.add(layers.Conv2DTranspose(128, kernel_size=(5, 5), strides=(1, 1), padding='same', use_bias=False))
		 7, 7, 128

    # Fourth: Conv2DTranspose layer
    model.add(layers.Conv2DTranspose(64, kernel_size=(5, 5), strides=(2, 2), padding='same', use_bias=False))
		#(14, 14, 64)

    # Fifth: Conv2DTranspose layer
    model.add(layers.Conv2DTranspose(1, kernel_size=(5, 5), strides=(2, 2), padding='same', use_bias=False, \
                                     activation='tanh'))
		#(28, 28, 1)

    return model

What is Transposed Convolutional Layer?

[1(배치사이즈), 28, 28, 1] 1채널 이미지 생성됨.

BatchNormalization 레이어는 신경망의 가중치가 폭발하지 않도록 가중치 값을 정규화

노멀리제이션은 전체 배치 = 전체 집합으로 계산해야 하지만 미니 배치로 입력한다는 사실이 포인트 미니배치로 입력했지만 nn은 전체 집합을 대표하는것처럼 생각한다.

r b가 추가되었으므로 rb를 기억해놓으면 원래 형태로 되돌리기도 가능하다.

BN은 신경망 계열로 역전파가 가능하다.

판별자 만들기

def make_discriminator_model():

    # Start
    model = tf.keras.Sequential()

		#28,28,1이미지를 받아서 
		#반대로 해감 (28, 28, 1) → (14, 14, 64) → (7, 7, 128)

    # First: Conv2D Layer
    model.add(layers.Conv2D(64, (5, 5), strides=(2, 2), padding='same', input_shape=[28, 28, 1]))
    model.add(layers.LeakyReLU())
    model.add(layers.Dropout(0.3))

    # Second: Conv2D Layer
    model.add(layers.Conv2D(128, (5, 5), strides=(2, 2), padding='same'))

    # Third: Flatten Layer
    model.add(layers.Flatten())
		#Flatten 층을 사용해 3차원 이미지를 1차원으로 쭉 펴서 7x7x128=6272, 즉 (1, 6272)벡터를 만듬

    # Fourth: Dense Layer
    model.add(layers.Dense(1))# 진짜 가짜 1개만 결과로함.

    return model

학습 잘하는법

손실함수와 옵티마이저(최적화)함수 바꿔보기

손실 = 교차 엔트로피

두값의 차이가 얼마나 나는지를 정량적으로 보여줄수있다.

한 개의 이미지가 가짜인지 진짜인지 나타내는 2개 클래스 간 분류 문제를 풀어야 하므로, 이진 교차 엔트로피(binary cross entropy)를 사용

생성자 : 판별자가 Fake Image에 대해 판별한 값, 즉 D(fake_image) 값이 1에 가까워지는 것

판별자 : Real Image 판별값, 즉 D(real_image)는 1에, Fake Image 판별값, 즉 D(fake_image)는 0에 가까워지는 것

손실함수에 들어가는 값은 모두 판별자의 판별값

tf.keras.losses의 BinaryCrossEntropy 클래스는 기본적으로 본인에게 들어오는 인풋값이 0-1 사이에 분포하는 확률값이라고 가정

cross_entropy = tf.keras.losses.BinaryCrossentropy(from_logits=True)

(from_logits=True) 옵션을 쓰면된다. sigmoid 함수를 사용해 0~1으로 정규화후 값이 들어감.

?#레이어에 시그모이드 떄려도되나?#

fake_output : 생성자가 생성한 Fake Image를 구분자에 입력시켜서 판별된 값, 즉 D(fake_image)

real_output : 기존에 있던 Real Image를 구분자에 입력시켜서 판별된 값, 즉 D(real_image)

판별자가 1.0으로 가까워지가 둘다 판단하면 판별자가 너무 일을 잘하고있어서 문제

생성자가 제데로 일을 못하고있다.

real accuracy, fake accuracy 0.5로 나오는게 이상정이다. 대충찍어도 나오는 확률이기때문에.

옵티 당연히 아담.

@tf.function
def train_step(images):  #(1) 입력데이터
    noise = tf.random.normal([BATCH_SIZE, noise_dim])  #(2) 생성자 입력 노이즈

    with tf.GradientTape() as gen_tape, tf.GradientTape() as disc_tape:  #(3) tf.GradientTape() 오픈
        generated_images = generator(noise, training=True)  #(4) generated_images 생성

        #(5) discriminator 판별
        real_output = discriminator(images, training=True)
        fake_output = discriminator(generated_images, training=True)

        #(6) loss 계산
        gen_loss = generator_loss(fake_output)
        disc_loss = discriminator_loss(real_output, fake_output)

        #(7) accuracy 계산
        real_accuracy, fake_accuracy = discriminator_accuracy(real_output, fake_output) 
    
    #(8) gradient 계산
    gradients_of_generator = gen_tape.gradient(gen_loss, generator.trainable_variables)
    gradients_of_discriminator = disc_tape.gradient(disc_loss, discriminator.trainable_variables)

    #(9) 모델 학습
    generator_optimizer.apply_gradients(zip(gradients_of_generator, generator.trainable_variables))
    discriminator_optimizer.apply_gradients(zip(gradients_of_discriminator, discriminator.trainable_variables))

    return gen_loss, disc_loss, real_accuracy, fake_accuracy  #(10) 리턴값

(1) 입력 데이터: Real Image 역할을 할 images 한 세트를 입력으로 받음

(2) 생성자 입력 노이즈 : generator가 FAKE IMAGE를 생성하기 위한 noise를 images 한 세트와 같은 크기인 BATCH_SIZE 만큼 생성함

(3) tf.GradientTape()는 가중치 갱신을 위한 Gradient를 자동 미분으로 계산하기 위해 with 구문 열기

(4) generated_images 생성 : generator가 noise를 입력받은 후 generated_images 생성

(5) discriminator 판별 : discriminator가 Real Image인 images와 Fake Image인 generated_images를 각각 입력받은 후 real_output, fake_output 출력(

6) loss 계산 : fake_output, real_output으로 generator와 discriminator 각각의 loss 계산

(7) accuracy 계산 : fake_output, real_output으로 discriminator의 정확도 계산

(8) gradient 계산 : gen_tape와 disc_tape를 활용해 gradient를 자동으로 계산

(9) 모델 학습 : 계산된 gradient를 optimizer에 입력해 가중치 갱신(10) 리턴값 : 이번 스텝에 계산된 loss와 accuracy를 리턴