state-space-models
按标签浏览论文。
Mamba-3
Mamba-3: Improved Sequence Modeling using State Space Principles
Mamba-3 以指数梯形写入、输入相关旋转和 MIMO 提升固定状态模型的表达能力与解码效率,并揭示训练计算、检索和归一化的具体取舍。
Mamba3-Oscillation
Understanding Mamba-3 Through Oscillatory Dynamics
将 Mamba-3 的衰减与旋转解释为欠阻尼动力学;受控训练和相位干预支持其状态追踪、长上下文及信息累积收益,并区分训练收益与消融损害。
Samba
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
Samba交替组合Mamba、SWA与MLP,改善匹配训练下的模型质量与长序列效率;百万长度预测外推与任务微调后的精确召回需分别理解。
LengthGen
Understanding and Improving Length Generalization in Recurrent Models
通过初态干预扩展训练状态覆盖,以低预算后训练缓解循环模型的长度外失效,并区分稳定困惑度与远距离任务能力。
FRAC
Fractional State Space Transition for Long Sequence Modeling
FRAC 以分数阶理论指导几何时间尺度库和选择性读写,改善固定状态模型的长上下文表现;实验写入规则采用稳定化改动。
Attention-Evolution
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
以表示、更新、访问、读出和整合五维梳理注意力演化,指出混合架构与跨层复用正把网络深度纳入记忆生命周期管理。
SSM-Gating
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
门控使 SSM 的参数记忆与上下文检索产生优化竞争,并在保留远处信号与抑制长上下文干扰之间形成取舍。
没有找到匹配论文,试试其他关键词或标签。