Linear
按研读更新时间浏览本主题的论文；一篇论文可属于多个主题。
BASED
Simple linear attention language models balance the recall-throughput tradeoff
BASED 以全局 Taylor 线性记忆、小窗口注意力和短卷积改善召回，并通过 IO-aware 内核提高生成吞吐；研读澄清了原文数字与评测口径的不一致。
DeltaLog
DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
DeltaLog以稠密基底和有界更新日志延迟状态写回，在保持递推语义的条件下减少写流量，并在所测服务配置中加速整模型解码1.05–1.20倍。
HybridPosition
Mechanics of Long-Context Hybrid Models Part 1.1: From Hybrid Attention to Hybrid Position
混合位置分工解释外推与长训练的差异；扩窗与LongCE改善SWA，SWLA结合NoPE尺度修正增强LA外推。
Triadic
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Triadic以双key乘积地址低参数扩展三维递归状态，改善长文预测与召回；8倍状态约增加30%单块训练耗时，最长精确检索仍有缺口。
DSLA
On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention
DSLA以历史与近期双状态配合按敏感度逐层转换，在指定服务回放中实现2.29倍加速，并呈现任务相关的质量取舍。
LinearAttn-Memory
How Linear Attention Remembers
因果干预揭示循环状态通过集中读写支持选择性召回，负载与写入重叠引发干扰，混合模型的直接记忆载体转向 KV 缓存。
CKDA
Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention
CKDA 以有符号通道门与扩展更新率实现稳定旋转，增强状态追踪与周期外推，语言建模与匹配 KDA 基本持平。
Q-Delta
Q-Delta: Beyond Key-Value Associative State Evolution
Q-Delta 将 query 反馈引入 delta 写入，改善平均语言评测和合成检索；真实召回收益有限，v1 分块公式存在需修正之处。
LLM-Memory
Memory for Large Language Models
以表示、更新动态和持续性三轴统一模型级记忆，细分写入与管理规则，并分析混合架构的召回、干扰和资源取舍。
Attention-Evolution
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
以表示、更新、访问、读出和整合五维梳理注意力演化，指出混合架构与跨层复用正把网络深度纳入记忆生命周期管理。
CyFA
CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory
通过可学习时钟组织相对时间槽，并用精确坐标变换实现两遍标量递推，在匹配主状态预算下改善召回。
JRT
Just read twice: closing the recall gap for recurrent language models
JRT 通过重复提示和非因果前缀编码改善有限状态模型的召回，收益依赖提示、填充及内核条件。
LoLCATs
LoLCATs: On Low-Rank Linearizing of Large Language Models
LoLCATs以注意力输出迁移和LoRA低成本转换大模型，扩展至405B，但MMLU与检索能力仍受架构和数据限制。
LoLA
LoLA: Low-Rank Linear Attention With Sparse Caching
LoLA 以自召回误差分配稀疏缓存与线性状态，显著改善等预算关联召回，但长文能力、预填充开销与缓存计数仍有边界。
HOLA
A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets
HOLA 按残差写入幅度选择精确 KV，并分离读取归一化，改善困惑度与长距召回；固定缓存容量及主实验单种子限制结论。
KDN
Kalman Delta Networks: Uncertainty-aware Associative Memory
KDN 用可扫描的不确定性递推调整 Delta 写入，在受控预训练中改善纯递归模型质量和合成检索，收益受近似、任务及架构影响。
OSDN
OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention
OSDN以在线对角预条件缩放写入key，改善340M受控召回；1.3B局部残差收缩更强，但未转化为重复召回提升。
PDN
Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences
以有界对角历史统计预条件 DeltaNet 写 key，保留分块效率并改善配对平均指标；精确等价与单步谱界的适用条件需区分。
EDA
Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention
EDA 先沿独立地址清理记忆，再执行 delta 修正写入；混合模型平均分提升，但长上下文逐项优势与历史回忆均有边界。
CCQ
Don't Read Everything: A Curvature-Conditioned Query for Linear Attention
CCQ 用历史 key 协方差收缩 query，改善多项检索结果；推理关闭修正仍保留多数收益，机制与解码成本需分开评估。
没有找到匹配论文，试试其他关键词或标签。