linear-attention
按标签浏览论文。
RLA
Enhancing Linear Attention with Residual Learning
RLA/RDN 用第二个递推状态拟合历史预测残差，在保持线性扩展的同时改善建模与召回，并增加状态容量和计算开销。
DDN
Dual DeltaNet: Value-Side Memory Reorganization for Linear Attention
DDN 在 KDA 后加入值侧地址响应纠错，以双侧 WY 和秩 2 更新保持固定状态，显著改善 1B NIAH 平均召回，同时增加推理延迟。
GSA2
Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
GSA2 通过共享潜在槽组合 OJA2 的 key 侧修正与 Delta-2 的 value 侧修正，改善检索与长上下文平均表现，并承担双阶段训练开销。
KLA
Kaczmarz Linear Attention
KLA 用 key 能量归一化残差写入步长，保留 GDN 分块结构并改善预训练与长程关联召回；研读区分了消融取舍和解码计时疑点。
LiSA
LiSA: Linear Stochastic Attention for Long-Range Visual Modeling
LiSA 用低秩随机游走为线性注意力加入多跳交互，并以局部窗口保留细节；在多项视觉基准上提高准确率，但超长序列的延迟仍高于 FLatten。
Muir
Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
Muir reallocates low-rank gate capacity by state sensitivity, adds matched-filter readout to reduce interference and write-time erasure, and uses a boundary-pivoted TPU chunk kernel; experiments show strong language modeling and multi-hop retrieval with static/dynamic readout trade-offs.
FG2-GDN
FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
FG²-GDN 以通道级写入率补足 KDA 的通道级遗忘，并以对称缩放保留并行结构；FG²-GDN+ 在 RULER 与 LongBench 聚合分数最佳。
LinearAttention
Learning Linear Attention in Polynomial Time
将单层多头线性注意力化为三次特征上的线性回归，并以满秩特征矩阵认证训练数据是否唯一确定其函数。
SparseGDN
SparseGDN: Chunk Sparse in Linear Attention
SparseGDN结合块邻接Delta求解、动态循环事件选择和紧凑GPU执行，在保留约29%更新事件时加速长上下文GDN核心预填充。
RAM-Net
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
RAM-Net 用乘积式稀疏地址读写固定槽位，提升长程细粒度检索并减少每步状态访问；困难长程与真实文档回忆仍受寻址限制。
NoteBank
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
NoteBank 用查询未知时的稀疏文本存档与原生回放恢复冻结骨干的远距检索；自然任务收益需区分读出适配、状态重置及实际系统开销。
SSE
Scaling Linear Attention with Sparse State Expansion
SSE以共享参数的稀疏状态分区改善检索与记忆保留，混合版保持接近同流程Transformer的推理能力，收益需结合状态存储与活跃计算理解。
QED
The Query Knows What to Forget: A Second Erase Direction for Linear Attention
QED 在 GDN-2 擦除向量中加入 query 派生的正交修正，保持 rank-one 更新并改善长上下文检索；门控、投影及推理强度的作用随训练种子变化。
Palimpsa
Learning to Remember, Learn, and Forget in Attention-Based Models
Palimpsa 用逐状态精度调节记忆可塑性，并通过折扣旧证据保持适应能力；微调迁移改善召回与部分长上下文表现，但增加内核成本并带来任务取舍。
Linear-ICL
What can linear attention learn from nonlinear teachers in-context?
简化线性注意力在高维无正则极限下仅利用教师的一阶 Hermite 分量，其余分量形成等效噪声；研读说明了图1的归一化问题。
SpectralShift
SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
以 α 投影的中心化收缩和学习率缩放调整 GDN 记忆时间尺度，分阶段 128K 扩窗的跨长度 RULER 均分提高 2.80 分。
CST
Learning Length-Extrapolatable Recurrent Models
CST 通过局部缩放反向状态信用改善循环模型的长度外推，在合成任务与小型语言模型中取得收益，但存在任务依赖与训练吞吐代价。
SwiLA
Switching Linear Attention
SwiLA 以预测误差驱动的多专家线性回归实现固定状态的非线性检索，在等状态容量的召回任务中改善表现，但顺序训练吞吐低于 GDN。
PACE
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
PACE 通过周期性舍入、按值通道分组量化及按头分配精度，以更低驻留显存维持循环状态质量。
KronLSTM
Kronecker Delta Rule for Long Context Linear Attention
KronLSTM 用键值双重定向的标量误差修正矩阵记忆，在相同预训练预算下提升平均语言与自然文本检索表现，但重复噪声检索和32k绝对准确率仍有限。
没有找到匹配论文，试试其他关键词或标签。