Issue

• OpenAI is making its own search engine to complete Google
  openai에서 검색엔진을 만든다고 한다. 구글에 대항할 걸 준비한다는데 구글입장에서는 자식한테 뒷통수 맞은 기분이 아닐까..

Paper / Model

video/ 3D

• FlashTex: Fast Relightable Mesh Texturing with LightControlNet
  light controlnet에 대해 살펴보자.
• MVDiffusion++: A Dense High-resolution Multi-view Diffusion Model for Single or Sparse-view 3D Object Reconstruction
  한장의 이미지를 주면 3D로 만들어줌. diffison 기반

Multimodal/ LLM

• A Touch, Vision, and Language Dataset for Multimodal Alignment
  ViT 응용해서 이미지를 파악 + 텍스트로 알려줌
• How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts
  정말 시중에서 보기 힘든 apple 논문이다..! 프롬프트 엔지니어링에 가까운 것 같긴함. 어떻게 hallusination을 줄일 것인가?를 해결하기 위함
• Neural Network Diffusion
  굉장히 오랜만에 응용이 아닌 모델 자체에 대한 모델이 나왔다. comparison하는 방법을 봐두자.
• RealCompo: Dynamic Equilibrium between Realism and Compositionality Improves Text-to-Image Diffusion Models
  SDM 이후로 사실 이미지 생성의 백본은 굳혀진듯. 결과 이미지 자체로는 결과가 특별히 더 좋다는 생각이 안들긴 한다.
• SDXL-Lightning: Progressive Adversarial Diffusion Distillation
  역시 죽지도 않고 살아남는 SDM 이번엔 XL의 라이트닝
• User-LLM: Efficient LLM Contextualization with User Embeddings
  진리의 Google Research에서 나온 논문. 사용자 맞춤 LLM에대한 논문이다.
• ToDo: Token Downsampling for Efficient Generation of High-Resolution Images
  Attention에 초점을 맞춤. ViT 쪽에 힘을 준 생성 모델인듯싶다.
• LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
  RoPE가 얼마 안된 거 같은데 벌써 이렇게 변종 모델들이 마구 나온다...

기타

• Aria Everyday Activities Dataset
  저자가 너무 많다고 생각했는데 역시 메타에서 했군.. dataset 대한 논문인데 특장점은 digital twin dataset이 있다는 거. 내 메인 분야는 아니지만 보면 좋을 듯
• YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information
  YOLO도 계속 발전하는게 재미있다.

etc.

• LightControlNet
• Multimodal방법과 학습 성능은 유지하되 자원을 줄이도록 하는 경량화 모델들이 계속 강세이다.
  * Multimodal LLM ~ 관련된 것들이 특히 눈여겨 볼만함.
  • GPT-4V랑 Gemini가 현재는 multimodal llm시장 평정느낌.
• QAE방법을 살펴봐야할듯 (t-SNE)
• RoPE
• Stabillity 3 (SDM3버전임)이랑 SDXL(SDM2버전)의 변종들이 나온다.