Attention
注意力计算、混合机制与位置表示。
RLA
Enhancing Linear Attention with Residual Learning
RLA/RDN 用第二个递推状态拟合历史预测残差，在保持线性扩展的同时改善建模与召回，并增加状态容量和计算开销。
MemoryPathways
Balancing Memory Pathways: Analyzing and Improving Memory Utilization in Hybrid LMs
混合模型的普通 SFT 偏重注意力；递归辅助监督改善记忆利用和长上下文任务表现，按信息类型分工也有助于文本与隐式记忆协作。
DDN
Dual DeltaNet: Value-Side Memory Reorganization for Linear Attention
DDN 在 KDA 后加入值侧地址响应纠错，以双侧 WY 和秩 2 更新保持固定状态，显著改善 1B NIAH 平均召回，同时增加推理延迟。
GSA2
Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
GSA2 通过共享潜在槽组合 OJA2 的 key 侧修正与 Delta-2 的 value 侧修正，改善检索与长上下文平均表现，并承担双阶段训练开销。
KLA
Kaczmarz Linear Attention
KLA 用 key 能量归一化残差写入步长，保留 GDN 分块结构并改善预训练与长程关联召回；研读区分了消融取舍和解码计时疑点。
WavePrune
WavePrune: One period is often enough for RoPE
WavePrune 将各 RoPE 通道截断在首周期，改善多数测试模型的长上下文表现与预训练外推，并以分组内核加速推理；Llama 的远程高频检索是重要反例。
LiSA
LiSA: Linear Stochastic Attention for Long-Range Visual Modeling
LiSA 用低秩随机游走为线性注意力加入多跳交互，并以局部窗口保留细节；在多项视觉基准上提高准确率，但超长序列的延迟仍高于 FLatten。
Muir
Muir: Linear Attention with Sensitivity-Allocated Gating and Matched-Filter Readout
Muir reallocates low-rank gate capacity by state sensitivity, adds matched-filter readout to reduce interference and write-time erasure, and uses a boundary-pivoted TPU chunk kernel; experiments show strong language modeling and multi-hop retrieval with static/dynamic readout trade-offs.
FG2-GDN
FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
FG²-GDN 以通道级写入率补足 KDA 的通道级遗忘，并以对称缩放保留并行结构；FG²-GDN+ 在 RULER 与 LongBench 聚合分数最佳。
DeltaFormer
Understanding Transformer from the Perspective of Associative Memory
以关联记忆的检索信噪比与残差写入统一分析 Attention 和 FFN，并以 DeltaFormer 的状态追踪构造及合成实验展示核与更新规则的作用。
LinearAttention
Learning Linear Attention in Polynomial Time
将单层多头线性注意力化为三次特征上的线性回归，并以满秩特征矩阵认证训练数据是否唯一确定其函数。
SparseGDN
SparseGDN: Chunk Sparse in Linear Attention
SparseGDN结合块邻接Delta求解、动态循环事件选择和紧凑GPU执行，在保留约29%更新事件时加速长上下文GDN核心预填充。
RAM-Net
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
RAM-Net 用乘积式稀疏地址读写固定槽位，提升长程细粒度检索并减少每步状态访问；困难长程与真实文档回忆仍受寻址限制。
NoteBank
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
NoteBank 用查询未知时的稀疏文本存档与原生回放恢复冻结骨干的远距检索；自然任务收益需区分读出适配、状态重置及实际系统开销。
SSE
Scaling Linear Attention with Sparse State Expansion
SSE以共享参数的稀疏状态分区改善检索与记忆保留，混合版保持接近同流程Transformer的推理能力，收益需结合状态存储与活跃计算理解。
QED
The Query Knows What to Forget: A Second Erase Direction for Linear Attention
QED 在 GDN-2 擦除向量中加入 query 派生的正交修正，保持 rank-one 更新并改善长上下文检索；门控、投影及推理强度的作用随训练种子变化。
Palimpsa
Learning to Remember, Learn, and Forget in Attention-Based Models
Palimpsa 用逐状态精度调节记忆可塑性，并通过折扣旧证据保持适应能力；微调迁移改善召回与部分长上下文表现，但增加内核成本并带来任务取舍。
Linear-ICL
What can linear attention learn from nonlinear teachers in-context?
简化线性注意力在高维无正则极限下仅利用教师的一阶 Hermite 分量，其余分量形成等效噪声；研读说明了图1的归一化问题。
SpectralShift
SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
以 α 投影的中心化收缩和学习率缩放调整 GDN 记忆时间尺度，分阶段 128K 扩窗的跨长度 RULER 均分提高 2.80 分。
SAB
Sparse Attentive Backtracking: Temporal CreditAssignment Through Reminding
SAB 通过稀疏检索历史状态并在其附近回传局部梯度，弥补 TBPTT 的远程信用缺口并改善复制任务的长度泛化。
没有找到匹配论文，试试其他关键词或标签。