DALL-E 2 & Representations

Example of DALLE-2

말을 타고 있는 우주인 - 실사화

말을 타고 있는 우주인 - 앤디워홀 스타일

불꽃튀는 화학 약품을 섞는 미친 과학자스러운 테디베어 - 디지털화

다른 차원으로 가는 포탈인 국 한그릇 - 디지털화

우주 내 열대 리조트에서 쉬고있는 우주선 - 베이퍼웨이브 스타일

DALLE-2 논문

• Representation이 얼마나 중요한가?

• 핵심은 [Text-Image] 의 joint representation을 학습하는 것.
  

DALL-E 1에서도..

출처

• 강의슬라이드 - DALL-E(velog)
• DALL-E 논문리뷰(velog)

Image의 정보를 잘 압축해야 할 latent vector

Latent(representation) space의 중요성

dVAE는 이미지를 32x32 token으로 인코딩하고, 트랜스포머는 이 이미지 토큰을 텍스트 토큰과 결합해 joint representation을 학습한다.