- What Matters in Transformers? Not All Attention is Needed
기존의 LLM에 대한 구조적 문제점을 제기하고 Block drop 방식을 실험으로 보여준다. Block drop은 일종의 drop out 기법으로, transformer와 MLP 구조에서 각각의 block들을 drop했을 때 결과를 비교해서 보여준다. 근데 제목이 세다... - GS^3: Efficient Relighting with Triple Gaussian Splatting
SIGGRAPH Asia 2024 논문. real-time, high-quality novel lighting-and-view synthesis 3가지를 one point light로 처리한다고 한다. 크게 microfacet normal distribution, self-shadow(screen-space spletting), camera and mixed to produce an image 3가지에 주안을 두어 3개의 gaussian splatting을 한다고 한다. 짜임새 있음이 느껴지는 논문. - IterComp: Iterative Composition-Aware Feedback Learning from Model Gallery for Text-to-Image Generation
현존하는 이미지 생성 모델들을 가지고 이미지를 생성한 후에 각 생성된 이미지에 리워드를 메겨 어떤 이미지가 적합한지 모델이 reward를 학습하는 방식. 굉장히 합리적인 인간의 사고 방식이면서 연산량이 많은 (리워드~적합 학습) 방법이라 LLM에 적합한 모델인 것 같다. 딱 논문 내용만 봐도 (큰 개념만 따져도 T2I Generation, reward - RL쪽, LLM 등등) 한 두명으론 쓸 수 없는 논문. 흥미롭다. 저자진이 Tsinghua University, Peking University, University of Oxford, USTC, LibAI Lab, Princeton University이다.
공부