- TraDiffusion: Trajectory-Based Training-Free Image Generation
diffusion 모델로 이미지를 생성할 때 조건을 제어하는 방법은 두 가지가 있다. 하나는 adapter 등을 추가하는 것이고 다른 하나는 latent vecter 자체를 제어하는 것이다. 해당 논문은 후자의 경우이다. diffusion step을 거치며 만들어지는 latent vecter의 trajectory를 수정하여 원하는 이미지를 만들어 내도록 한다. 수정을 위해서 energy function을 이용하였다. - Photorealistic Object Insertion with Diffusion-Guided Inverse Rendering
NVIDIA, UT, Vector Institute의 공동 연구. 배경 scene에 virtual object를 올리고 자연스럽도록 optimize하는 diffusion 모델이다. NVIDIA 답게(?) environment map을 이용하여 optimization한다. ECCV2024 - MeshFormer: High-Quality Mesh Generation with 3D-Guided Reconstruction Model
single image or text로 3D scene을 만들어주는 모델. 포맷은 ECCV로 추정되나 under-review 논문이다. 아직 3D는 모르는 것이 많다. - TurboEdit: Instant text-based image editing
image editing 논문. LLaVA를 이용해 image-to-text를 한 다음 원하는 edit 부분만 수정한 text를 다시 생성할 이미지에 반영하는 방법이다. Adobe 논문이니 포토샵의 generative fill 기능에 업그레이드 되어 추가될지도? ECCV2024. - FancyVideo: Towards Dynamic and Consistent Video Generation via Cross-frame Textual Guidance
text-to-video model. cross-attention을 수정하는 CTGM 모듈이 핵심인 듯 하다. 360AI에서 썼다. 깃헙은 있지만 데모는 아직
공부