- ControlNeXt: Powerful and Efficient Control for Image and Video Generation
ControlNet으로 비디오도 제어할 수 있다. 굉장히 scene간의 consistency가 잘 지켜지는 것이 보인다. LoRA를 붙인 게 핵심 중 하나다. 관심가는 것은 Cross Normalization. 홍콩의 vision 하드웨어 업체인 SmartMore와 CHKU에서 공동 집필. - CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
encoder-decoder 사이의 latent vector를 KL regularizer로 각 scene간의 consistency를 유지한 것 같다. 3D VAE 등 키워드가 너무 많이 나와서 정리가 필요한 논문. 중국의 openai로 불리는 Zhipu AI와 칭화대 공동 집필. CogVideo (ICLR 2023)의 후속 논문. - Your Context Is Not an Array: Unveiling Random Access Limitations in Transformers
굉장히 도발적으로 느껴지는(?) 제목. YOLO가 생각이 난다. COLM 2024에 올라갔다고 한다. 퀄컴 논문. 퀄컴에서도 AI팀이 있나??? 했는데 역시나 RAM 관련. attention map visualizations를 통해 RAM에 어떻게하면 직접적으로 접근할 수 있는지 (효과적인 사용)를 보인다고 한다. 신기하네 이렇게 응용할 수도 있구나. 다른 분야이지만 흥미롭다. - UniPortrait: A Unified Framework for Identity-Preserving Single- and Multi-Human Image Personalization
또리바바 (또 알리바바라는 뜻) 멀티 face image를 한 장에 적용하는 논문. 캐릭터도 되려나?
공부