• Introducing Command R+: A Scalable LLM Built for Business
  cohere에서 command R의 상위 command R+가 공개했다. command R 시리즈는 RAG를 기반으로한 채팅에 중점 되어있는 LLM이다. 기존 R과 다른 점은 multi-step tool을 사용할 수 있단 점인 듯 싶다. multi-step tool은 docs에 따르면 일종의 simple agent를 운용하는 것이라고 한다. model에 대한 정보는 hugging face에 공개 되어있다.

paper

• LVLM-Intrepret: An Interpretability Tool for Large Vision-Language Models
  기존 VLLM들이 내놓는 답들은 왜 이 답을 내놨는지 근거를 직접적으로 보기 어렵다. 해당 연구는 그 근거에 대한 연구이다. text-image pair의 text tokes를 함께 나열하고 각 토큰이 이미지의 어떤 부위를 활성화 함을 보여준다.
• ReFT: Representation Finetuning for Language Models
  PEFT는 LLM 경량화 연구에서 주요 한 분야이다. parameter를 fine-tuning 하는 것보다 representation이 더 semantic 정보를 잘 유지한다는 연구 결과에 따라 이를 fine-tuning 하는 방식을 제안한다.
• CoMat: Aligning Text-to-Image Diffusion Model with Image-to-Text Concept Matching
  확실히 요샌 이미지를 잘 만들기 위해서 attention을 분석하고 clip으로 text와 연관성을 파악하지 않는 모델이 없는 것 같다.
• CodeEditorBench: Evaluating Code Editing Capability of Large Language Models
  LLM이 다양한 언어의 code를 더 잘 생성하게 하기 위해 여러 장치를 심어두었다.
• MiniGPT4-Video: Advancing Multimodal LLMs for Video Understanding with Interleaved Visual-Textual Tokens
  비디오를 입력으로 주면 해당 비디오가 어떤 내용인지 text로 출력하는 모델이다. 각 프레임별로 ViT를 통과해 임베딩 시키고 이를 일렬로 늘린 뒤, 해당 비디오가 strange?한지 여부를 마지막 토큰으로 붙여 하나의 비디오에 대한 긴 토큰 나열을 만든다. 이를 한번에 LLM으로(+LoRA) 출력 text를 생성한다. 이렇게 임베딩들이 길게 늘여있는데 얼마의 리소스가 필요한지, 몇 초 길이까지 가능한지 궁금하다.
• PointInfinity: Resolution-Invariant Point Diffusion Models
  cross-attention이 read와 write로 나뉘는 관점이 신선하다.