RESEARCH LIBRARY

recurrent-memory

按标签浏览论文。

共 46 篇论文 · 按研读更新时间排序

2605.13473v1 · r1

OSDN

OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention

OSDN以在线对角预条件缩放写入key，改善340M受控召回；1.3B局部残差收缩更强，但未转化为重复召回提升。

2605.31163v3 · r1

Memory by Design: Probabilistic Sequence Layers

Bayesian Layer 用稠密协方差调整写入方向与强度，改善关联召回，但增加状态成本并存在语言建模困惑度取舍。

2504.05646v2 · r1

Lattice: Learning to Efficiently Compress the Memory

Lattice 通过逐槽正交更新与归一化提高固定状态的记忆效率，分块近似实现训练并行，但质量和吞吐量收益需按配置分别解读。

2502.13685v4 · r1

MoM: Linear Sequence Modeling with Mixture-of-Memories

MoM 用稀疏路由隔离多个递归记忆并改善召回，等激活参数比较仍有收益，但总状态成本和部分评测口径需区分。

2607.07386v1 · r1

Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

SDM 用稀疏读写扩展递归记忆并改善长上下文检索，学习初始状态进一步增益，但存储与实际速度仍是代价。

2607.07953v1 · r1

Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing

统一比较线性注意力的记忆控制与训练权衡，CLVR 将写入值投影至共享残差流，在匹配单次实验中小幅降低验证损失。