DALL-E 2 & Representations

sjinu·2022년 4월 10일
1

Example of DALLE-2

말을 타고 있는 우주인 - 실사화

말을 타고 있는 우주인 - 앤디워홀 스타일

불꽃튀는 화학 약품을 섞는 미친 과학자스러운 테디베어 - 디지털화

다른 차원으로 가는 포탈인 국 한그릇 - 디지털화

우주 내 열대 리조트에서 쉬고있는 우주선 - 베이퍼웨이브 스타일

DALLE-2 논문

  • Representation이 얼마나 중요한가?

  • 핵심은 [Text-Image]joint representation을 학습하는 것.

DALL-E 1에서도..

출처

Image의 정보를 잘 압축해야 할 latent vector

Latent(representation) space의 중요성

dVAE는 이미지를 32x32 token으로 인코딩하고, 트랜스포머는 이 이미지 토큰을 텍스트 토큰과 결합해 joint representation을 학습한다.

profile
Computer Vision & Theoretical Deep Learning

0개의 댓글