https://openaccess.thecvf.com/content_CVPR_2019/papers/Li_StoryGAN_A_Sequential_Conditional_GAN_for_Story_Visualization_CVPR_2019_paper.pdf
해당 모델은 story visualization의 초창기 논문이다. 따라서 다른 것(이미지 퀄리티 등)보다 텍스트와 이미지의 상관관계에 대해 초점을 맞췄다.
RNN 같은 sequential 구조에 encoder와 GAN 구조가 합쳐져있다.
encoder로 GRU와 Text2Gist를 사용하는데 아직 transfomer 같은 구조가 나오기 전이라 GRU를 사용하는 것으로 보인다.
GRU에서는 scene sentence와 노이즈가 합쳐져 연산되는데 각 sentence는 전테 story로부터 만들어진다.
TextGist 수식을 보면 GRU와 거의 유사람을 알 수 있다. 결국 현재 latent와 이전 latent를 함께 고려하는 것.
공부