RESEARCH LIBRARY

linear-attention

按标签浏览论文。

共 64 篇论文 · 按研读更新时间排序

2504.05646v2 · r1

Lattice

Lattice: Learning to Efficiently Compress the Memory

Lattice 通过逐槽正交更新与归一化提高固定状态的记忆效率，分块近似实现训练并行，但质量和吞吐量收益需按配置分别解读。

2502.13685v4 · r1

MoM: Linear Sequence Modeling with Mixture-of-Memories

MoM 用稀疏路由隔离多个递归记忆并改善召回，等激活参数比较仍有收益，但总状态成本和部分评测口径需区分。

2607.07386v1 · r1

Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity

SDM 用稀疏读写扩展递归记忆并改善长上下文检索，学习初始状态进一步增益，但存储与实际速度仍是代价。

2607.07953v1 · r1

Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing

统一比较线性注意力的记忆控制与训练权衡，CLVR 将写入值投影至共享残差流，在匹配单次实验中小幅降低验证损失。