Structured State Space sequence models (S4)

S4

Structured State Space sequence models(S4) 아키텍처는 시각, 언어, 오디오와 같은 long-range sequence modeling 작업에 대한 새로운 접근 방식이다. 수만 단계에 걸친 의존성을 포착할 수 있다.

Capacity to capture dependencies?
긴 시퀀스 내에서 발생하는 요소들 간의 관계를 효과적으로 이해하고 학습할 수 있는 능력이 있다. (e.g. 긴 텍스트 문장 처리, 음악 or 오디오에서 공백 간의 연관성 파악)

보통의 모델들은 가까운 위치에 있는 요소들 간의 관계를 잘 학습할 수 있지만, 시퀀스가 길어지면 멀리 있는 요소들 간의 관계를 유지하고 이해하기 어려워진다. 하지만 S4는 긴 시퀀스에서도 요소들 간의 관계를 효과적으로 이해해서 이를 바탕으로 예측, 분류할 수 있다. 시퀀스 안에서 멀리 떨어진 요소들 간의 의존성과 관련성을 유지하면서도 학습할 수 있는 능력을 가진다는 뜻이다.

• Sequence modeling
  : Sequence modeling trains AI systems on chronologically ordered data to capture patterns and make predictions over time.

Sequence modeling은 패턴을 찾고 예측을 하기 위해 순서가 있는 데이터로 훈련을 한다.

references
https://srush.github.io/annotated-s4/
https://www.moveworks.com/us/en/resources/ai-terms-glossary/sequence-modeling