생성 모델링(Generative Modeling)

• 학습한 데이터셋과 비슷하면서도 기존에는 없던 새로운 데이터셋을 생성하는 모델
• 예)가위, 바위, 보가 담긴 데이터셋에서 각 이미지의 특징을 학습해 그와 비슷한 사진을 만들어내는 것
• AWS의 DeepComposer 시연 영상
• 위 영상에서는 Generator(생성기), Discriminator(판별기) 두가지의 네트워크가 사용되었다.
• 생성자가 오케스트라처럼 직접 음악을 연주하여 만들어내는 모델이라면, 판별자는 오케스트라가 연주한 음악을 평가하여 오케스트라가 만들어내는 음악이 점점 더 좋아지게 만드는 지휘자의 역할을 하는 모델이다.

이미지와 관련된 모델

Pix2Pix

• 간단한 이미지를 입력할 경우 실제 사진처럼 보이도록 바꿔줄 때 많이 사용됨
  
  
  
  이미지 출처 : https://arxiv.org/pdf/1611.07004.pdf

• 단순화된 이미지(Input Image)와 실제 이미지(Ground Truth)가 쌍을 이루는 데이터셋으로 학습한다.

• input image를 입력받으면 predicted image를 출력하는데, 학습 초기에는 Ground Truth 이미지와 많이 다르겠지만, 계속해서 Ground Truth와 얼마나 비슷한지를 평가하며 실제 같은 결과물로 만들어낸다.
  
  
  

CycleGAN

• Pix2Pix는 한방향으로의 변환만 가능한 반면, CycleGAN은 양방향으로 이미지 변환이 가능하다.
• 실사를 그림으로, 그림을 실사로.
• Pix2Pix는 쌍으로 이루어진 데이터셋이 필요했던 반면, CycleGAN은 쌍이 필요없다. 모델이 각각의 데이터에서 각각의 스타일을 학습한 후 새로운 이미지에 그 스타일을 입히는 것이다.
• 쌍으로 필요하지 않기 때문에 데이터를 구하기 쉽고, 라벨을 붙이는 주석비용이 필요없다는 장점이 있다.
  
  
  

Neural Style Transfer

• 이미지의 스타일을 변환
• 전체 이미지의 구성을 유지하고 싶은 Base Image와 입히고 싶은 스타일이 담긴 Style Image 두 장을 이용해 새로운 이미지 생성
  
  이미지 출처: http://bethgelab.org/research/machine_learning/style_transfer/
• 건물, 강, 하늘 등 전체적인 구성은 그대로 유지하면서 style image의 스타일을 입힌 것을 볼 수 있다.

GAN

• Generative Adversarial Network
• Generative Model과 Discriminative Model은 서로 경쟁구도를 갖추고 있어, Adversarial(적대적인)인 단어가 모델이름에 들어가게 된 것이다.
• 비유) Generative Model : 화폐위조팀 / Discriminative Model: 위조화폐 탐지 경찰
• 궁극적 목표는 진짜 지폐와 구분될 수 없는 위조 지폐를 만들어내는 것이다.