recurrent-memory
按标签浏览论文。
MemoryPathways
Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
混合模型的普通 SFT 偏重注意力;递归辅助监督改善记忆利用和长上下文任务表现,按信息类型分工也有助于文本与隐式记忆协作。
GSA2
Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
GSA2 通过共享潜在槽组合 OJA2 的 key 侧修正与 Delta-2 的 value 侧修正,改善检索与长上下文平均表现,并承担双阶段训练开销。
KLA
Kaczmarz Linear Attention
KLA 用 key 能量归一化残差写入步长,保留 GDN 分块结构并改善预训练与长程关联召回;研读区分了消融取舍和解码计时疑点。
Muir
Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
Muir reallocates low-rank gate capacity by state sensitivity, adds matched-filter readout to reduce interference and write-time erasure, and uses a boundary-pivoted TPU chunk kernel; experiments show strong language modeling and multi-hop retrieval with static/dynamic readout trade-offs.
RAM-Net
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
RAM-Net 用乘积式稀疏地址读写固定槽位,提升长程细粒度检索并减少每步状态访问;困难长程与真实文档回忆仍受寻址限制。
NoteBank
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
NoteBank 用查询未知时的稀疏文本存档与原生回放恢复冻结骨干的远距检索;自然任务收益需区分读出适配、状态重置及实际系统开销。
SSE
Scaling Linear Attention with Sparse State Expansion
SSE以共享参数的稀疏状态分区改善检索与记忆保留,混合版保持接近同流程Transformer的推理能力,收益需结合状态存储与活跃计算理解。
QED
The Query Knows What to Forget: A Second Erase Direction for Linear Attention
QED 在 GDN-2 擦除向量中加入 query 派生的正交修正,保持 rank-one 更新并改善长上下文检索;门控、投影及推理强度的作用随训练种子变化。
Palimpsa
Learning to Remember, Learn, and Forget in Attention-Based Models
Palimpsa 用逐状态精度调节记忆可塑性,并通过折扣旧证据保持适应能力;微调迁移改善召回与部分长上下文表现,但增加内核成本并带来任务取舍。
SMT
Pretraining Recurrent Networks without Recurrence
SMT通过并行教师的预测记忆标签训练非线性RNN单步更新,并用DMT校正滚动漂移,改善长程学习与串行计算效率。
SAB
Sparse Attentive Backtracking: Temporal CreditAssignment Through Reminding
SAB 通过稀疏检索历史状态并在其附近回传局部梯度,弥补 TBPTT 的远程信用缺口并改善复制任务的长度泛化。
CST
Learning Length-Extrapolatable Recurrent Models
CST 通过局部缩放反向状态信用改善循环模型的长度外推,在合成任务与小型语言模型中取得收益,但存在任务依赖与训练吞吐代价。
MemT
MemT-1.0: Towards Memory-Native Evolution
MemT-1.0 以稳定逐 token 写入和跨轮状态在参数化记忆基准领先,并降低长历史存储与延迟;精细召回仍落后于文本记忆。
MesaNet
MesaNet: Sequence Modeling by Locally Optimal Test-Time Training
MesaNet 用可分块并行的共轭梯度求解累计回归,改善固定状态的上下文学习与召回,并揭示平均困惑度与长距离信息利用之间的差异。
DeltaProduct
DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products
DeltaProduct 以每 token 多次 Householder 更新增强状态追踪与语言模型外推,保留转移范数界,并呈现依任务及预算变化的性能取舍。
Mamba-3
Mamba-3: Improved Sequence Modeling using State Space Principles
Mamba-3 以指数梯形写入、输入相关旋转和 MIMO 提升固定状态模型的表达能力与解码效率,并揭示训练计算、检索和归一化的具体取舍。
SFDA
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
SFDA 以相位旋转扩展 Delta 记忆并给出精确分块 WY 构造;计数实验显示外推边界,研读澄清实化秩与广义模板的适用范围。
MDN
MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
MDN 以求和换序和下三角求解并行化逐步动量,改善线性模型检索,但增加双状态与训练成本;研读厘清 v1 的公式和稳定性条件。
LeapQuant
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
LeapQuant 以窗口量化、低秩补偿 token 和残差平滑抑制递归误差,8 位保持接近 FP32 的质量,并降低状态存储与推理成本。
Mamba3-Oscillation
Understanding Mamba-3 Through Oscillatory Dynamics
将 Mamba-3 的衰减与旋转解释为欠阻尼动力学;受控训练和相位干预支持其状态追踪、长上下文及信息累积收益,并区分训练收益与消融损害。
没有找到匹配论文,试试其他关键词或标签。