linear-attention
按标签浏览论文。
MesaNet
MesaNet: Sequence Modeling by Locally Optimal Test-Time Training
MesaNet 用可分块并行的共轭梯度求解累计回归，改善固定状态的上下文学习与召回，并揭示平均困惑度与长距离信息利用之间的差异。
DeltaProduct
DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products
DeltaProduct 以每 token 多次 Householder 更新增强状态追踪与语言模型外推，保留转移范数界，并呈现依任务及预算变化的性能取舍。
SFDA
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
SFDA 以相位旋转扩展 Delta 记忆并给出精确分块 WY 构造；计数实验显示外推边界，研读澄清实化秩与广义模板的适用范围。
MDN
MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
MDN 以求和换序和下三角求解并行化逐步动量，改善线性模型检索，但增加双状态与训练成本；研读厘清 v1 的公式和稳定性条件。
LeapQuant
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
LeapQuant 以窗口量化、低秩补偿 token 和残差平滑抑制递归误差，8 位保持接近 FP32 的质量，并降低状态存储与推理成本。
OAL
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
OAL 按 QK 维度贡献分组学习正值二次核，以精确 HD 递推改善预训练注意力转换；系数少但二阶状态成本仍高。
HYPIC
HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching
HYPIC 以段级转移算子组合循环状态，结合边界重算与冷段并行加速混合注意力服务；需区分单层精确组合与深层近似复用。
Tail-Replay
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
Tail-Replay 缓存精确 FA KV 与输出隐藏向量，以独立短尾重放近似恢复循环状态，实现灵活前缀复用；质量代价依赖任务，RULER 汇总存在已标注冲突。
HypeNet
Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts
HALO以约2.3B tokens转换Qwen3，HypeNet结合循环RoPE、全局NoPE与动态缩放改善长检索和效率；研读标注v1数值与配置差异。
Hybrid-Hierarchy
A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
以通信复杂度分析混合注意力的顺序复合下界，区分全注意力访问轮数与循环状态容量，并标注 v1 的证明及参数范围问题。
NAtS-L
Neural Attention Search Linear: Towards Adaptive Token-Level Hybrid Attention Models
NAtS-L按64-token块选择显式KV或GDN状态，并以query条件权重融合；Hybrid提升检索和长输入效率，但仍保留未受硬预算约束的softmax项。
HedgeCATs
Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
通过组件消融揭示混合线性注意力转换中对滑窗分支的过度依赖，并用推理时混合、HedgeCATs 与 SSD 保留线性分支的有效贡献。
RACE
RACE Attention: A Strictly Linear-Time Attention Layer for Training on Outrageously Large Contexts
RACE 用可微软哈希桶聚合质量与值，在固定桶预算下实现线性注意力；任务效果与单层极长序列扩展分别验证，归一化证明存在偏差漏项。
LAVO
Linear Attention via Orthogonal Memory
LAVO 用正交平均投影构造固定记忆，结合局部注意力实现线性扩展；长上下文困惑度稳定，但平均压缩限制历史细节与训练长度内精度。
DAMP
DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
DAMP 结合局部量化误差与未来衰减保留程度选择 FP16 通道，其余状态用 INT8 存储，以约 9.9 bits 保持接近 FP32 的准确率并降低推理开销。
LengthGen
Understanding and Improving Length Generalization in Recurrent Models
通过初态干预扩展训练状态覆盖，以低预算后训练缓解循环模型的长度外失效，并区分稳定困惑度与远距离任务能力。
SelectiveRoPE
Selective Rotary Position Embedding
Selective RoPE 用输入相关的累计旋转补充遗忘门，改善合成召回与状态追踪，语言建模收益依架构与规模而异。
StateReduction
On State Reduction in Linear Attention
联合裁剪key/query缩小递归状态，DRRQR以秩揭示QR选择通道；恢复后语言建模质量接近原模型，纯递归长程召回仍有明显代价。
MS-GLA
MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution
通过多尺度池化与因果融合重分配固定状态预算，细粗分支组合改善综合表现；训练记录与长文评测协议仍需澄清。
BASED
Simple linear attention language models balance the recall-throughput tradeoff
BASED 以全局 Taylor 线性记忆、小窗口注意力和短卷积改善召回，并通过 IO-aware 内核提高生成吞吐；研读澄清了原文数字与评测口径的不一致。
没有找到匹配论文，试试其他关键词或标签。