Issue

• Claude 3.5

  • Frontier intelligence : Claude 3.5 Sonnet은 graduate-level reasoning (GPQA), undergraduate-level knowledge (MMLU), and coding proficiency (HumanEval)에서 새로운 결과를 보였다.
  • 2x speed : Claude 3.5 Sonnet은 Claude 3 Opus보다 2배 빨라지고 정확도가 높아졌다고 한다. (high-quality content, improved accuracy, complex tasks like code generations.)
  • State-of-the-art vision: Claude 3.5 Sonnet모델은 Claude 3 Opus보다 평균적으로 ~10% vision benchmarks가 향상되었다.
    - 3.5 sonet도 API로 이용할 수 있다. 자세한 요금은 여기

• Apple Intelligence : on device AI으로 개인화된 context를 이용하여 개인용 시스템을 제공한다.

  • 언어, 이미지 생성, siri 등 다양한 기능에서 쓸 수 있으며 아이폰, 아이패드, Mac 디바이스를 모두 포함한다.
  • 6/10에 Developer beta 버전이 공개되었으며, 가을에 Beta가 release 된다고 한다. 이용하기 위해선 M1 이상, A17 Pro 이상의 칩을 탑대한 디바이스가 필요하다.
  • 이외에 내용을 잘 정리해둔 블로그를 첨부한다.

• Character AI
  hedra에서 face video generation에 대한 새 모델이 나왔다. face에 대해서 이지만, 결과 이미지가 괜찮다. H100이 있다면 90초를 60초만에 만들 수 있다고 한다.

Paper

• Invertible Consistency Distillation for Text-Guided Image Editing in Around 7 Steps
  editing 방식의 이미지 생성을 distilation으로 하여 4~7steps 만으로 좋은 결과를 얻을 수 있다. 육안으로 보기엔 SDXL과 비슷한 결과를 보이지만 10분의 1 수준의 steps라는 것이 큰 contribution인 듯 하다.
• PIN: A Knowledge-Intensive Dataset for Paired and Interleaved Multimodal Documents
  데이터셋에 대한 페이퍼.