Paper

• MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases
  MobileNet이 나온게 엊그제 같은데 이젠 LLM도 Mobile로 나온다. 충격

• Divide-or-Conquer? Which Part Should You Distill Your LLM?
  knowledge distilation을 이용해서 학습하는 방법

• When and why vision-language models behave like bags-of-words, and what to do about it?
  ARO benchmark에 대해 알아봐야 할 필요가 있을 듯.

• ✨Gen4Gen: Generative Data Pipeline for Generative Multi-Concept Composition
  story visualization 논문으로 확장할 수 있을 것 같다.

생각

결국 돌고돌아 경량화로 논문이 또 나온다. inpainting으로 결과가 훌륭하게 나올 수 있다. 이걸 어떻게 적용할 수 있지 않을까 생각해보자.