读过的论文，
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文，沿着公式与图表深入阅读。
FG2-GDN
FG$^2$-GDN: Enhancing Long-Context Gated Delta Networks with Doubly Fine-Grained Control
FG²-GDN 以通道级写入率补足 KDA 的通道级遗忘，并以对称缩放保留并行结构；FG²-GDN+ 在 RULER 与 LongBench 聚合分数最佳。
DeltaFormer
Understanding Transformer from the Perspective of Associative Memory
以关联记忆的检索信噪比与残差写入统一分析 Attention 和 FFN，并以 DeltaFormer 的状态追踪构造及合成实验展示核与更新规则的作用。
SimpleHC
On the Design of Hyper-Connections: Simplification, Stability, and Scalability
SimpleHC 以学习读写门、恒等残差传递及跨四个子层共享状态访问，在 15B/30B MoE 上保持接近 mHC 的质量，并将最大测试宽度的训练时间额外开销降至 2.4%。
ShortContext
You don't need long context
通过任务状态压缩与外部资料按需检索，多项长流程和长输入任务可在短活跃上下文下保持成绩；成本节省倍数基于定价模型推算。
LinearAttention
Learning Linear Attention in Polynomial Time
将单层多头线性注意力化为三次特征上的线性回归，并以满秩特征矩阵认证训练数据是否唯一确定其函数。
LLA
Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
LLA以查询局部线性回归减轻Softmax边界偏差，FlashLLA降低工作显存；合成非平稳回归与关联回忆受益，状态跟踪仍弱。
ContextLength
Context Length Alone Hurts LLM Performance Despite Perfect Retrieval
长输入即使保留可逐字找回的证据，解题准确率仍会下降；空白与掩码控制支持长度相关退化，先检索再短提示可缓解部分任务。
SparseGDN
SparseGDN: Chunk Sparse in Linear Attention
SparseGDN结合块邻接Delta求解、动态循环事件选择和紧凑GPU执行，在保留约29%更新事件时加速长上下文GDN核心预填充。
RAM-Net
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
RAM-Net 用乘积式稀疏地址读写固定槽位，提升长程细粒度检索并减少每步状态访问；困难长程与真实文档回忆仍受寻址限制。
NoteBank
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
NoteBank 用查询未知时的稀疏文本存档与原生回放恢复冻结骨干的远距检索；自然任务收益需区分读出适配、状态重置及实际系统开销。
SSE
Scaling Linear Attention with Sparse State Expansion
SSE以共享参数的稀疏状态分区改善检索与记忆保留，混合版保持接近同流程Transformer的推理能力，收益需结合状态存储与活跃计算理解。
QED
The Query Knows What to Forget: A Second Erase Direction for Linear Attention
QED 在 GDN-2 擦除向量中加入 query 派生的正交修正，保持 rank-one 更新并改善长上下文检索；门控、投影及推理强度的作用随训练种子变化。
Palimpsa
Learning to Remember, Learn, and Forget in Attention-Based Models
Palimpsa 用逐状态精度调节记忆可塑性，并通过折扣旧证据保持适应能力；微调迁移改善召回与部分长上下文表现，但增加内核成本并带来任务取舍。
Linear-ICL
What can linear attention learn from nonlinear teachers in-context?
简化线性注意力在高维无正则极限下仅利用教师的一阶 Hermite 分量，其余分量形成等效噪声；研读说明了图1的归一化问题。
SMT
Pretraining Recurrent Networks without Recurrence
SMT通过并行教师的预测记忆标签训练非线性RNN单步更新，并用DMT校正滚动漂移，改善长程学习与串行计算效率。
SpectralShift
SpectralShift: Effective Context Window Extension of Gated DeltaNet via Spectral Reparameterization
以 α 投影的中心化收缩和学习率缩放调整 GDN 记忆时间尺度，分阶段 128K 扩窗的跨长度 RULER 均分提高 2.80 分。
SAB
Sparse Attentive Backtracking: Temporal CreditAssignment Through Reminding
SAB 通过稀疏检索历史状态并在其附近回传局部梯度，弥补 TBPTT 的远程信用缺口并改善复制任务的长度泛化。
CST
Learning Length-Extrapolatable Recurrent Models
CST 通过局部缩放反向状态信用改善循环模型的长度外推，在合成任务与小型语言模型中取得收益，但存在任务依赖与训练吞吐代价。
RetrievalAttention
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
利用预填充查询构建注意力感知向量索引，从 CPU 动态检索少量 KV 并与 GPU 常驻缓存合并，在长上下文解码中降低检索和显存成本。
SwiLA
Switching Linear Attention
SwiLA 以预测误差驱动的多专家线性回归实现固定状态的非线性检索，在等状态容量的召回任务中改善表现，但顺序训练吞吐低于 GDN。
没有找到匹配论文，试试其他关键词或标签。