- ReALM: Reference Resolution As Language Modeling
Apple에서도 LLM 모델이 나왔다. - Visual Autoregressive Modeling: Scalable Image Generation via Next-Scale Prediction
이전 scale을 토큰으로 사용하고 scaling up해서 이미지를 생성하는 방식이라는 간단한 사고의 전환으로 이미지 생성 방식을 바꿨다. - Mixture-of-Depths: Dynamically allocating compute in transformer-based language models
연산량을 줄이는 것은 확실히 주요 이슈이다. 레이어 별로 가지는 token을 일종의 drop-out을 하겠다는 이야기인 것 같다. 결과를 봐야할듯.
공부