SSM
1.HiPPO
State Space Model for Sequence modeling
2024년 8월 3일
2.LSSL
Linear State Space Layer : maps a sequence by simulating a linear continuous time state space representation
2024년 8월 3일
3.S4
Efficiently Modeling Long Sequences with Structured State Spaces
2024년 8월 3일
4.[논문리뷰] MAMBA360: Survey of State Space Models as Transformer Alternative for Long Sequence Modelling: Methods, Applications, and Challenges
Transformer의 대체 아키텍처로 부상중인 Mamba에 대한 literature survey이다. SSM의 시작부터 다양한 variation&application까지 살펴본다.
2024년 8월 5일
5.Mamba-2 : State Space Duality Explained
Mamba-1의 계산적 효율성을 더욱 향상시킨 Mamba-2 논문의 State-Space Duality를 설명한다.
2024년 8월 5일
6.MAMBA-2: SSD Part 2 - The Theory
지난 포스트에서는 SSD model의 프레임워크를 살펴보았다면, 이번에는 SSD의 duality에 대해 좀 더 자세히 살펴본다.
2024년 8월 8일
7.[논문리뷰] Understanding the differences in Foundation Models
여러가지 Foundational Model에 대해 하나의 프레임워크를 구성해 분석한다
2024년 8월 28일
8.[논문리뷰] Stuffed Mamba: State Collapse and State capacity of RNN-Based Long-Context Modeling
(arXiv:2410) STUFFED MAMBA: STATE COLLAPSE AND STATE CAPACITY OF RNN-BASED LONG-CONTEXT MODELING
2024년 10월 21일