Architecture
循环状态、深度复用、跨层连接与动态路由。
Mamba-3
Mamba-3: Improved Sequence Modeling using State Space Principles
Mamba-3 以指数梯形写入、输入相关旋转和 MIMO 提升固定状态模型的表达能力与解码效率，并揭示训练计算、检索和归一化的具体取舍。
Mamba3-Oscillation
Understanding Mamba-3 Through Oscillatory Dynamics
将 Mamba-3 的衰减与旋转解释为欠阻尼动力学；受控训练和相位干预支持其状态追踪、长上下文及信息累积收益，并区分训练收益与消融损害。
Transformer-Topology
The Topological Trouble With Transformers
从计算图解释固定深度中的状态上移与浅层可达性限制，按循环轴和更新粒度分类，并讨论增强状态更新与高效训练的取舍。
Samba
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
Samba交替组合Mamba、SWA与MLP，改善匹配训练下的模型质量与长序列效率；百万长度预测外推与任务微调后的精确召回需分别理解。
LPT
The Surprising Effectiveness of Shared Memory in Looped Transformers
LPT让后续循环共享首轮KV并保留短窗口，在减少缓存的同时改善质量；共享梯度路径支持记忆学习，计算与延迟仍随循环增加。
LoopedReuse
Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers
以精确反事实替换与状态冻结区分循环模型的计算、答案保持和状态复用，揭示答案出现后仍需若干轮更新才能支持后续计算。
LoopLM-Conditioning
What Makes Recurrence Effective in Looped Language Models?
揭示循环深度的知识与推理取舍，并以历史状态差分和时间门控改善深度外推；收益依赖架构、参数化与推理预算。
ELR
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
ELR以门控更新、同次更新混合深度与循环条件调制保留单循环平均能力，并用额外循环提升质量；路由和KV复用各有成本与任务取舍。
LoopMDM
Looped Diffusion Language Models
LoopMDM以少量早中层共享循环改善掩码扩散模型的训练效率和质量，自适应停止减少循环开销；需区分训练与推理预算。
LengthGen
Understanding and Improving Length Generalization in Recurrent Models
通过初态干预扩展训练状态覆盖，以低预算后训练缓解循环模型的长度外失效，并区分稳定困惑度与远距离任务能力。
DiscoLoop
DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
DiscoLoop在循环间保留连续隐藏状态并注入软解码嵌入，缓解桥接实体表示失配，显著改善受控多跳泛化并小幅提升预训练表现。
M2RNN
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
M²RNN以矩阵状态扩展非线性递推，单层替换改善7B GDN混合模型的语言建模与长上下文表现，并保留接近基线的训练吞吐。
FRAC
Fractional State Space Transition for Long Sequence Modeling
FRAC 以分数阶理论指导几何时间尺度库和选择性读写，改善固定状态模型的长上下文表现；实验写入规则采用稳定化改动。
OASIS
Attention Sinks and Outliers in Attention Residuals
OASIS 通过 token 与深度双空路由及空概率反馈改善 AttnResidual 的低比特稳健性；Qwen 消融中耦合额外提升 GSM8K 4.67 个百分点，12K 长上下文恢复大部分损失。
DeltaAttnRes
Delta Attention Residuals
在残差流上加性读取历史贡献改善困惑度，分块降低成本；原始 AttnRes 对照描述、恒等初始化与分块实现存在关键差异。
Attention-Evolution
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
以表示、更新、访问、读出和整合五维梳理注意力演化，指出混合架构与跨层复用正把网络深度纳入记忆生命周期管理。
SSM-Gating
On the Importance of Gating: Memorization vs. In-Context Learning in State Space Models
门控使 SSM 的参数记忆与上下文检索产生优化竞争，并在保留远处信号与抑制长上下文干扰之间形成取舍。
RelaxedRecursive
Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
通过共享层块与逐层SVD残差LoRA转换预训练模型，在参数量和精度间折中；连续深度批处理的加速证据仍基于理想早退模拟。
TTT
Learning to (Learn at Test Time): RNNs with Expressive Hidden States
TTT 将隐藏状态设为小模型权重，以可学习的自监督任务更新序列记忆，并通过 mini-batch 与对偶形式改善长上下文建模和执行效率。
MELT
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
MELT 以门控记忆和两阶段迁移将四轮循环的 KV 缓存降至 Ouro 的四分之一，保留接近教师的性能；精读标注原文排名与显存算术差异。
没有找到匹配论文，试试其他关键词或标签。