读过的论文，
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文，沿着公式与图表深入阅读。
StateReduction
On State Reduction in Linear Attention
联合裁剪key/query缩小递归状态，DRRQR以秩揭示QR选择通道；恢复后语言建模质量接近原模型，纯递归长程召回仍有明显代价。
HashAttention
HashAttention: Semantic Sparsity for Faster Inference
HashAttention 用学习式二进制签名提高重要 token 召回，以紧凑辅助索引减少 KV 访问；研读区分质量与加速口径并修正理论公式。
MS-GLA
MS-GLA: Multi-Scale Gated Linear Attention for Addressing Representational Bottlenecks via Multi-Temporal Resolution
通过多尺度池化与因果融合重分配固定状态预算，细粗分支组合改善综合表现；训练记录与长文评测协议仍需澄清。
BASED
Simple linear attention language models balance the recall-throughput tradeoff
BASED 以全局 Taylor 线性记忆、小窗口注意力和短卷积改善召回，并通过 IO-aware 内核提高生成吞吐；研读澄清了原文数字与评测口径的不一致。
DiscoLoop
DiscoLoop: Looping Discrete Embeddings and Continuous Hidden States for Multi-hop Reasoning
DiscoLoop在循环间保留连续隐藏状态并注入软解码嵌入，缓解桥接实体表示失配，显著改善受控多跳泛化并小幅提升预训练表现。
DeltaLog
DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
DeltaLog以稠密基底和有界更新日志延迟状态写回，在保持递推语义的条件下减少写流量，并在所测服务配置中加速整模型解码1.05–1.20倍。
CLM
Context Language Models
CLM 将实时上下文设为模型可编辑文件，通过技能演化、强化学习和近似后缀缓存复用改善长任务的性能与计算成本。
GOAT
You Need Better Attention Priors
GOAT将可学习位置先验编码进标准SDPA，在1.23B实验中改善长度外推；收益伴随内容维度取舍与有条件的sink稳定性保证。
HybridPosition
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
混合位置分工解释外推与长训练的差异；扩窗与LongCE改善SWA，SWLA结合NoPE尺度修正增强LA外推。
NL
Nested Learning: The Illusion of Deep Learning Architectures
NL 将架构和优化器统一为多时间尺度的联想记忆，Hope 结合自指更新与 CMS 改善持续学习，但精确召回与计算成本仍有取舍。
Metis
Metis: Memory Foundation Model
Metis以固定状态和可学习读写实现无在线梯度的跨轮次记忆，节省存储与查询成本，但长期容量、遗忘和指令遵循仍受限。
Triadic
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Triadic以双key乘积地址低参数扩展三维递归状态，改善长文预测与召回；8倍状态约增加30%单块训练耗时，最长精确检索仍有缺口。
MoNe
MoNe: Modular Neural Memory for Efficient Long Context Inference
MoNe以逐层局部快权重更新为冻结Transformer写入长上下文，在受控任务外推至128K并降低显存与FLOPs，但依赖离线任务训练。
M2RNN
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
M²RNN以矩阵状态扩展非线性递推，单层替换改善7B GDN混合模型的语言建模与长上下文表现，并保留接近基线的训练吞吐。
Diffuser
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
用多跳扩散复用稀疏注意力权重，改善长序列建模；显存与时间存在取舍，LRA原报均值有算术差异。
Nectar
Nectar: Neural Estimation of Cached-Token Attention via Regression
Nectar 以输出与归一化量双网络压缩静态文档注意力，随机问题接近完整缓存，但分布外问题和离线训练成本限制适用范围。
DSLA
On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention
DSLA以历史与近期双状态配合按敏感度逐层转换，在指定服务回放中实现2.29倍加速，并呈现任务相关的质量取舍。
LinearAttn-Memory
How Linear Attention Remembers
因果干预揭示循环状态通过集中读写支持选择性召回，负载与写入重叠引发干扰，混合模型的直接记忆载体转向 KV 缓存。
CKDA
Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention
CKDA 以有符号通道门与扩展更新率实现稳定旋转，增强状态追踪与周期外推，语言建模与匹配 KDA 基本持平。
Q-Delta
Q-Delta: Beyond Key-Value Associative State Evolution
Q-Delta 将 query 反馈引入 delta 写入，改善平均语言评测和合成检索；真实召回收益有限，v1 分块公式存在需修正之处。
没有找到匹配论文，试试其他关键词或标签。