attention
按标签浏览论文。
Orthros
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
Orthros 用局部基础流建立完整 KV、按需全局输出查询降低预填充成本，保留召回能力，但增加训练计算且长输出时收益减弱。
ASI
Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
注意力输出的低有效秩与 SAE 死特征相关；ASI 对齐活跃子空间改善重建，百万特征下结合 SparseAdam 将死特征从约 87% 降至不足 1%。
SAF
When Can Attention Heads Be Statically Defined?
SAF 用低方差注意力头的概率均值构造紧凑固定模式，降低更新开销而保留值混合，但收益受替换率和工作负载影响。
ContinuumAttention
Continuum Attention
CA 将相邻 key/value 线性插值并用闭式指数矩精确积分，在匹配温度的小模型和 101M 多语言评测中改善 NLL/BPB，但仍保持二次复杂度且跨域表现有差异。
LiSA
LiSA: Linear Stochastic Attention for Long-Range Visual Modeling
LiSA 用低秩随机游走为线性注意力加入多跳交互，并以局部窗口保留细节；在多项视觉基准上提高准确率，但超长序列的延迟仍高于 FLatten。
DeltaFormer
Understanding Transformer from the Perspective of Associative Memory
以关联记忆的检索信噪比与残差写入统一分析 Attention 和 FFN，并以 DeltaFormer 的状态追踪构造及合成实验展示核与更新规则的作用。
LLA
Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
LLA以查询局部线性回归减轻Softmax边界偏差，FlashLLA降低工作显存；合成非平稳回归与关联回忆受益，状态跟踪仍弱。
VHA
Virtual Head Attention
VHA以查询前混合和低秩输出混合训练两KV头GQA，在压缩缓存下改善质量，并可将新增模块合并进标准投影。
LRKV
Low-Rank Key Value Attention
LRKV 用共享稠密 K/V 与每头低秩残差压缩缓存并改善报告的语言建模损失，但完整 RoPE 兼容性与部分缓存、消融数据仍有关键矛盾。
PaTH
PaTH Attention: Position Encoding via Accumulating Householder Transformations
PaTH 将内容相关的 Householder 路径乘积引入 softmax attention，增强状态追踪；与 FoX 结合改善长上下文检索，转换收益依赖训练协议。
DAT
Delayed Attention Training Improves Length Generalization in Transformer--RNN Hybrids
DAT先训练循环路径再启用注意力，显著改善复合任务的长度泛化；三倍长度时五种混合结构中四种准确率超过90%。
GOAT
You Need Better Attention Priors
GOAT将可学习位置先验编码进标准SDPA，在1.23B实验中改善长度外推；收益伴随内容维度取舍与有条件的sink稳定性保证。
Nectar
Nectar: Neural Estimation of Cached-Token Attention via Regression
Nectar 以输出与归一化量双网络压缩静态文档注意力，随机问题接近完整缓存，但分布外问题和离线训练成本限制适用范围。
OASIS
Attention Sinks and Outliers in Attention Residuals
OASIS 通过 token 与深度双空路由及空概率反馈改善 AttnResidual 的低比特稳健性；Qwen 消融中耦合额外提升 GSM8K 4.67 个百分点，12K 长上下文恢复大部分损失。
DeltaAttnRes
Delta Attention Residuals
在残差流上加性读取历史贡献改善困惑度，分块降低成本；原始 AttnRes 对照描述、恒等初始化与分块实现存在关键差异。
Attention-Evolution
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
以表示、更新、访问、读出和整合五维梳理注意力演化，指出混合架构与跨层复用正把网络深度纳入记忆生命周期管理。
Attention-Temperature
Subquadratic Algorithms and Hardness for Attention with Any Temperature
固定维度下以局部多项式和半空间查询实现任意温度的次二次注意力，并给出条件下界；研读标注了 v1 的证明问题。
LatentLLM
LatentLLM: Attention-Aware Joint Tensor Compression
LatentLLM 以平方根统计预条件、单位块分解和联合投影优化改善低秩压缩质量，但简单 VO 未见收益，实际推理加速仍待验证。
KVM
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
KVM 以统一 softmax 读取近期窗口和可扩展压缩记忆，在容量、长检索和计算成本间取得可调折中，但收益依赖任务与规模。
MiTA
Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights
MiTA以少量landmark构建可复用top-k专家并联合全局压缩，在视觉与LRA中实现精度—成本取舍；研读核对了算法泛化等图文不一致。
没有找到匹配论文，试试其他关键词或标签。