Generative Model
구분
아이디어
GAN
VAE
Example of Generative Model
Image
1. GAN Series
1.0 BasicGAN(Sample Generation)
Train Data의 분포를 학습해 새로운 example을 반환하는 기본적인 GAN 모델
Art
LandScape
Dog(Cute)
Coast
1.1 GauGAN
간단한 그림을 그래픽으로 바꿔주는 모델
1.2 CycleGAN
그림의 스타일(계절, 화풍, 품종 등)을 바꿔주는 모델
Learning to Imitate Human Demonstrations via CycleGAN
해당 모델을 이용해 로봇이 인간의 행동을 묘사하게끔 학습할 수도 있답니다.
1.3 VincentGAN(Vincent AI)
간단한 스케치를 빈센트 고흐의 화풍으로 만들어주는 모델
위의 예시 이외에 더 많은 GAN 관련 모델은 여기에서 볼 수 있습니다.
1.4 GAN Dissection: Visualizing and Understanding Generative Adversarial Networks
GAN의 Units을 분석함으로써 이미지 내에 존재하는 특정 요소들을 강화, 혹은 약화시킬 수 있는 모델
직접 해보세요 ! -> Demo
2. THISPERSONDOESNETEXISTS
GAN을 활용한 고해상도 인물 생성 모델
3. Disney Filter
사람을 디즈니 캐릭터로 만들어주는 AI
투빅스에도 이와 유사한 프로젝트 EmoGE'T (투빅티콘 - image2Video 기반 나만의 움직이는 이모티콘 생성)가 진행됐었습니다.
Video
1. erAIser(Tobigs 12th Conference)
동영상 내에서 지우고 싶은 객체를 자동으로 지워주는 모델
Web: eraiser.app
PPT: datamarket.kr
Code: github.com
 |  |
1.1 AANet in erAIser
기존의 물체가 지워진 동영상에서 새로운 물체 사진 1장을 사용해 움직이는 물체를 생성, 합성하는 모델
Original  | AANet  | Source  |
Original  | AANet  | Source  |
논문 "Motion Representation for Articulated Animation"을 기반으로 구현했던 기능이였답니다. (Code)
2. 마이야히
인물의 사진 1장만을 활용해 특정 표정을 짓는 동영상을 생성하는 모델
광고도 나왔다네요(아래)
투빅스 프로젝트 erAIser에 추가한 AANet 모델에 적용된 논문과 같은 "Motion Representation for Articulated Animation"을 보다 직접적으로 적용한 사례입니다.
3. Deepfake
이하 생략
Text
Natutional Language Generation(NLG)라고도 불립니다.
1. AM I OK? - 전문의 답변 기반 심리진단 AI(Tobigs 11th Conference)
병의 증상을 설명하면 그에 맞는 답변을 생성해주는 모델
프로젝트
2. koGPT2(SKT)
GPT2모델을 대용량의 한국어 텍스트에 학습시켜 한 문장 뒤에 오는 문장을 생성하는 koGPT2
Code: SKT-AI
예시
2.1. Novel Generation
SKT의 KoGPT2를 소설 데이터에 fine-tuning한 소설 생성 모델
Code : narrativeKoGPT2
예시
Input: 사람들이 하늘을 보니 저 멀리서
Output: 사람들이 하늘을 보니 저멀리서 굴뚝새가 고요히 바라보는 게 마치 할머니 집 입구 쪽이나 동굴 밖까지 날아가는 것만 같아요.
그것도 사람들이지만 달빛 한 점 눈딱 뜨고 볼 수 있었지요.
작은 동산엔 빛나는 달 한 점 없는 아름다운 별 하나가 서 있었는데, 이게 어디 여행자인지 큰 배낭을 메고서도 매일 하늘 아래 모여 있었어요.
어쩌다 태양 한 점만 남겨도 산딸기를 구별해내 건널 수 있었던 여인숙에 여행객이 묵고 싶어서 안달이 난 거지 뭐예요.
배롱나무 수염도 짜고 베개도 벨 수도 없었던 거지 뭐예요.
배낭엔 달콤한 연주가 연주가 따로 있었고요,
부엌용 파이프들도 제각각 들어 있었어요.
소녀는 손가락을 들어 빙빙 돌더니 별들의 탱고 리듬에 맞춰 노래했지요.
“사실은 마법이나 이런 건 어쩔 수 없어, 적어도 영험하진 못한 달엔 보석도 많으니까 말이야, 그치?” 창문 없는 뾰족지붕집 같은 공간이 애처로웠지요.
3. DALL-E: Zero-Shot Text-to-Image Generation
Input으로 문장을 넣어주면 그 문장에 맞는 이미지를 생성해주는 모델
데이터 없이도 높은 성능을 보이는 Zero-Shot 모델입니다.
그렇기에 개를 산책시키는 무, 아보카도 모양의 의자 같은 흔하지 않은 이미지도 생성할 수 있는거겠죠? Zero-Shot(Few-Shot)은 현재 AI 분야의 트렌드 중 하나이기도 합니다.
