[P_stage] - week 16 day 1

[week16] 2021/11/16

최종 프로젝트 준비

• 프로젝트 주제: 몽타주를 실제 이미지로 변환하기
• 관련 논문:http://www.geometrylearning.com/paper/DeepFaceDrawing.pdf
• 관련 github : https://github.com/IGLICT/DeepFaceDr
• 논문 요약
  
  • (512, 512) 이미지를 Input으로 받는다
  • 총 세가지 모듈로 구성: CE(Component Embedding), FM(Feature Mapping), IS(Image Synthesis)
  • CE: 얼굴을 총 5가지 구성요소(왼눈, 오른눈, 코, 입, 나머지). Feature embedding(locally linear embedding방식)을 통해서 각각의 구성요소에 대한 manifold를 만든다. 이 mainifold는 새로 만들어진 스케치가 실현가능한 이미지를 만드는데 사용된다. 이 과정에서 5개의 encoding layer와 5개의 decoding layer로 이루어진 auto-encoder를 통해서 feature descriptor(512차원)를 얻는다.
  • FM: 개별 요소의 부조화와 인조적인 요소를 제거하기위해 존재. 5개의 fully connected layer와 decoding layer로 이루어진 개별 decoding모델로 feature vector를 특정사이즈의 feature vector로 변환한다. 그리고 이 vector들을 remainder(얼굴의 나머지 부분)에 통합(merge)한다.
  • IS: FM에서 통합된 feature vector를 진짜같은 이미지로 변환한다. 이 모듈의 구조는 (encoding part, a residual block,decoding unit으로 이루어진 Generator와 multi-scale방식을 사용하는 discriminator로 구성된) conditional GAN의 구조를 가진다.
  • cGAN(Conditional GAN):
    - GAN: Generator와 Discriminator의 상호견제를 통한 이미지 생성모델.
    
    - cGAN: genearator에 입력되는 z와 함게 조건(condition)을 함께 부여하여 이미지를 생성하는데 특정 조건(y)을 부가하는 방법을 통해 원하는 결과를 얻을 수 있다. 단, 학습 데이터를 쌍(세트)로 넣어야한다는 점을 주의해야한다.
    
• 이번 프로젝트는 크게 데이터셋 준비, 모델 구현 및 훈련, 서빙으로 3개의 과제가 있다. 시간을 효율적으로 쓸 수 있도록 협업과 계획이 잘 짜여질 필요가 있다.