Attention
注意力计算、混合机制与位置表示。
BinaryPC
Training-Free Hashing-Based Attention via Binary Principal Components
BinaryPC 以 64 位二值重构和高误差 token 保护实现免训练稀疏检索，改善长上下文解码效率，同时保留完整 KV 缓存。
HypeNet
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
HALO以约2.3B tokens转换Qwen3，HypeNet结合循环RoPE、全局NoPE与动态缩放改善长检索和效率；研读标注v1数值与配置差异。
Hybrid-Hierarchy
A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
以通信复杂度分析混合注意力的顺序复合下界，区分全注意力访问轮数与循环状态容量，并标注 v1 的证明及参数范围问题。
NAtS-L
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
NAtS-L按64-token块选择显式KV或GDN状态，并以query条件权重融合；Hybrid提升检索和长输入效率，但仍保留未受硬预算约束的softmax项。
HedgeCATs
Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
通过组件消融揭示混合线性注意力转换中对滑窗分支的过度依赖，并用推理时混合、HedgeCATs 与 SSD 保留线性分支的有效贡献。
RACE
RACE Attention: A Strictly Linear-Time Attention Layer for Training on Outrageously Large Contexts
RACE 用可微软哈希桶聚合质量与值，在固定桶预算下实现线性注意力；任务效果与单层极长序列扩展分别验证，归一化证明存在偏差漏项。
LAVO
Linear Attention via Orthogonal Memory
LAVO 用正交平均投影构造固定记忆，结合局部注意力实现线性扩展；长上下文困惑度稳定，但平均压缩限制历史细节与训练长度内精度。
PaTH
PaTH Attention: Position Encoding via Accumulating Householder Transformations
PaTH 将内容相关的 Householder 路径乘积引入 softmax attention，增强状态追踪；与 FoX 结合改善长上下文检索，转换收益依赖训练协议。
DAT
Delayed Attention Training Improves Length Generalization in Transformer--RNN Hybrids
DAT先训练循环路径再启用注意力，显著改善复合任务的长度泛化；三倍长度时五种混合结构中四种准确率超过90%。
DAMP
DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
DAMP 结合局部量化误差与未来衰减保留程度选择 FP16 通道，其余状态用 INT8 存储，以约 9.9 bits 保持接近 FP32 的准确率并降低推理开销。
LengthGen
Understanding and Improving Length Generalization in Recurrent Models
通过初态干预扩展训练状态覆盖，以低预算后训练缓解循环模型的长度外失效，并区分稳定困惑度与远距离任务能力。
SelectiveRoPE
Selective Rotary Position Embedding
Selective RoPE 用输入相关的累计旋转补充遗忘门，改善合成召回与状态追踪，语言建模收益依架构与规模而异。
StateReduction
On State Reduction in Linear Attention
联合裁剪key/query缩小递归状态，DRRQR以秩揭示QR选择通道；恢复后语言建模质量接近原模型，纯递归长程召回仍有明显代价。
HashAttention
HashAttention: Semantic Sparsity for Faster Inference
HashAttention 用学习式二进制签名提高重要 token 召回，以紧凑辅助索引减少 KV 访问；研读区分质量与加速口径并修正理论公式。
MS-GLA
MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution
通过多尺度池化与因果融合重分配固定状态预算，细粗分支组合改善综合表现；训练记录与长文评测协议仍需澄清。
BASED
Simple linear attention language models balance the recall-throughput tradeoff
BASED 以全局 Taylor 线性记忆、小窗口注意力和短卷积改善召回，并通过 IO-aware 内核提高生成吞吐；研读澄清了原文数字与评测口径的不一致。
DeltaLog
DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
DeltaLog以稠密基底和有界更新日志延迟状态写回，在保持递推语义的条件下减少写流量，并在所测服务配置中加速整模型解码1.05–1.20倍。
GOAT
You Need Better Attention Priors
GOAT将可学习位置先验编码进标准SDPA，在1.23B实验中改善长度外推；收益伴随内容维度取舍与有条件的sink稳定性保证。
HybridPosition
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
混合位置分工解释外推与长训练的差异；扩窗与LongCE改善SWA，SWLA结合NoPE尺度修正增强LA外推。
Triadic
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Triadic以双key乘积地址低参数扩展三维递归状态，改善长文预测与召回；8倍状态约增加30%单块训练耗时，最长精确检索仍有缺口。
没有找到匹配论文，试试其他关键词或标签。