Attention
注意力计算、混合机制与位置表示。
M2RNN
M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
M²RNN以矩阵状态扩展非线性递推，单层替换改善7B GDN混合模型的语言建模与长上下文表现，并保留接近基线的训练吞吐。
Diffuser
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
用多跳扩散复用稀疏注意力权重，改善长序列建模；显存与时间存在取舍，LRA原报均值有算术差异。
DSLA
On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention
DSLA以历史与近期双状态配合按敏感度逐层转换，在指定服务回放中实现2.29倍加速，并呈现任务相关的质量取舍。
LinearAttn-Memory
How Linear Attention Remembers
因果干预揭示循环状态通过集中读写支持选择性召回，负载与写入重叠引发干扰，混合模型的直接记忆载体转向 KV 缓存。
CKDA
Complex KDA: Understanding and Enhancing the Expressivity of Kimi Delta Attention
CKDA 以有符号通道门与扩展更新率实现稳定旋转，增强状态追踪与周期外推，语言建模与匹配 KDA 基本持平。
Q-Delta
Q-Delta: Beyond Key-Value Associative State Evolution
Q-Delta 将 query 反馈引入 delta 写入，改善平均语言评测和合成检索；真实召回收益有限，v1 分块公式存在需修正之处。
ResidualKV
ResidualKV: Residual-Based KV Cache Compression for Efficient Long-Context Inference
以全局参考和量化残差压缩 KV，结合稀疏按需恢复兼顾质量与存储；v2 部分实验预算口径仍需澄清。
LLM-Memory
Memory for Large Language Models
以表示、更新动态和持续性三轴统一模型级记忆，细分写入与管理规则，并分析混合架构的召回、干扰和资源取舍。
Attention-Evolution
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
以表示、更新、访问、读出和整合五维梳理注意力演化，指出混合架构与跨层复用正把网络深度纳入记忆生命周期管理。
CyFA
CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory
通过可学习时钟组织相对时间槽，并用精确坐标变换实现两遍标量递推，在匹配主状态预算下改善召回。
RIS-Kernel
RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention
RIS-Kernel以随机与局部连接并集及统一softmax实现CPU长上下文推理；复杂度、统计强度及32k图表一致性限制其结论。
JRT
Just read twice: closing the recall gap for recurrent language models
JRT 通过重复提示和非因果前缀编码改善有限状态模型的召回，收益依赖提示、填充及内核条件。
LoLCATs
LoLCATs: On Low-Rank Linearizing of Large Language Models
LoLCATs以注意力输出迁移和LoRA低成本转换大模型，扩展至405B，但MMLU与检索能力仍受架构和数据限制。
LoLA
LoLA: Low-Rank Linear Attention With Sparse Caching
LoLA 以自召回误差分配稀疏缓存与线性状态，显著改善等预算关联召回，但长文能力、预填充开销与缓存计数仍有边界。
HOLA
A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets
HOLA 按残差写入幅度选择精确 KV，并分离读取归一化，改善困惑度与长距召回；固定缓存容量及主实验单种子限制结论。
KDN
Kalman Delta Networks: Uncertainty-aware Associative Memory
KDN 用可扫描的不确定性递推调整 Delta 写入，在受控预训练中改善纯递归模型质量和合成检索，收益受近似、任务及架构影响。
OSDN
OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention
OSDN以在线对角预条件缩放写入key，改善340M受控召回；1.3B局部残差收缩更强，但未转化为重复召回提升。
PDN
Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences
以有界对角历史统计预条件 DeltaNet 写 key，保留分块效率并改善配对平均指标；精确等价与单步谱界的适用条件需区分。
EDA
Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention
EDA 先沿独立地址清理记忆，再执行 delta 修正写入；混合模型平均分提升，但长上下文逐项优势与历史回忆均有边界。
MiTA
Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights
MiTA以少量landmark构建可复用top-k专家并联合全局压缩，在视觉与LRA中实现精度—成本取舍；研读核对了算法泛化等图文不一致。
没有找到匹配论文，试试其他关键词或标签。