RESEARCH LIBRARY
Attention
注意力计算、混合机制与位置表示。
共 89 篇论文 · 按研读更新时间排序
2609.13141v1 · r1
SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
SAS 通过训练期归一化 log-gate 用语言模型损失学习块排序，改善低预算推理，但超长检索与路由成本仍有限制。
2609.02737v1 · r1
Language Models Can Control Their Own Attention
DA 让模型用文本声明动态注意力范围，在两个大模型上减少 52.0%/31.1% 的累计解码读取量；时间收益仍为模型估算，且存在任务与协议失败边界。
2502.18137v8 · r1
SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
通过选择性块压缩与在线 softmax 二次筛选，结合量化加速跨模态注意力，并保护难以压缩的异常块。
2606.01294v2 · r1
Don't Read Everything: A Curvature-Conditioned Query for Linear Attention
CCQ 用历史 key 协方差收缩 query，改善多项检索结果；推理关闭修正仍保留多数收益，机制与解码成本需分开评估。
2605.31163v3 · r1
Memory by Design: Probabilistic Sequence Layers
Bayesian Layer 用稠密协方差调整写入方向与强度，改善关联召回，但增加状态成本并存在语言建模困惑度取舍。
2504.05646v2 · r1
Lattice: Learning to Efficiently Compress the Memory
Lattice 通过逐槽正交更新与归一化提高固定状态的记忆效率，分块近似实现训练并行，但质量和吞吐量收益需按配置分别解读。
2502.13685v4 · r1
MoM: Linear Sequence Modeling with Mixture-of-Memories
MoM 用稀疏路由隔离多个递归记忆并改善召回，等激活参数比较仍有收益，但总状态成本和部分评测口径需区分。
2607.07386v1 · r1
Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
SDM 用稀疏读写扩展递归记忆并改善长上下文检索，学习初始状态进一步增益，但存储与实际速度仍是代价。
2607.07953v1 · r1
Linear Attention Architectures: Mechanisms, Trade-offs, and Cross-Layer Routing
统一比较线性注意力的记忆控制与训练权衡，CLVR 将写入值投影至共享残差流，在匹配单次实验中小幅降低验证损失。
没有找到匹配论文，试试其他关键词或标签。