Efficiency
KV 缓存、计算内核与数值精度。
ELR
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
ELR以门控更新、同次更新混合深度与循环条件调制保留单循环平均能力，并用额外循环提升质量；路由和KV复用各有成本与任务取舍。
Puro-2B
Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
Puro-2B结合消费级GPU、FP8、MuonH与课程模型平均，在限定GPU成本口径下以约4.4K美元达到Qwen2综合分数，最佳6.9K美元模型保留后训练收益。
Efficient-DLM
Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
Efficient-DLM 以干净前文的分块注意力和位置相关遮罩实现 AR 到扩散模型的转换，在小 batch 下改善并行生成的准确率与吞吐量取舍。
DAMP
DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
DAMP 结合局部量化误差与未来衰减保留程度选择 FP16 通道，其余状态用 INT8 存储，以约 9.9 bits 保持接近 FP32 的准确率并降低推理开销。
HashAttention
HashAttention: Semantic Sparsity for Faster Inference
HashAttention 用学习式二进制签名提高重要 token 召回，以紧凑辅助索引减少 KV 访问；研读区分质量与加速口径并修正理论公式。
DeltaLog
DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
DeltaLog以稠密基底和有界更新日志延迟状态写回，在保持递推语义的条件下减少写流量，并在所测服务配置中加速整模型解码1.05–1.20倍。
CLM
Context Language Models
CLM 将实时上下文设为模型可编辑文件，通过技能演化、强化学习和近似后缀缓存复用改善长任务的性能与计算成本。
MoNe
MoNe: Modular Neural Memory for Efficient Long Context Inference
MoNe以逐层局部快权重更新为冻结Transformer写入长上下文，在受控任务外推至128K并降低显存与FLOPs，但依赖离线任务训练。
Nectar
Nectar: Neural Estimation of Cached-Token Attention via Regression
Nectar 以输出与归一化量双网络压缩静态文档注意力，随机问题接近完整缓存，但分布外问题和离线训练成本限制适用范围。
LinearAttn-Memory
How Linear Attention Remembers
因果干预揭示循环状态通过集中读写支持选择性召回，负载与写入重叠引发干扰，混合模型的直接记忆载体转向 KV 缓存。
ResidualKV
ResidualKV: Residual-Based KV Cache Compression for Efficient Long-Context Inference
以全局参考和量化残差压缩 KV，结合稀疏按需恢复兼顾质量与存储；v2 部分实验预算口径仍需澄清。
OASIS
Attention Sinks and Outliers in Attention Residuals
OASIS 通过 token 与深度双空路由及空概率反馈改善 AttnResidual 的低比特稳健性；Qwen 消融中耦合额外提升 GSM8K 4.67 个百分点，12K 长上下文恢复大部分损失。
Attention-Evolution
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
以表示、更新、访问、读出和整合五维梳理注意力演化，指出混合架构与跨层复用正把网络深度纳入记忆生命周期管理。
PartRep
PARTREP: Learning What to Repeat for Decoder-only LLMs
PartRep 用高 NLL 监督训练中间层门控，以选择性重复保留接近完整重复的平均收益，并降低相对完整重复的缓存与预填充成本。
VarRate
VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs
VarRate按注意力显著性分配每token低秩预算，显著优于统一秩并改善查询复用鲁棒性，但运行时显存收益仍依赖融合内核。
LoLA
LoLA: Low-Rank Linear Attention With Sparse Caching
LoLA 以自召回误差分配稀疏缓存与线性状态，显著改善等预算关联召回，但长文能力、预填充开销与缓存计数仍有边界。
LatentLLM
LatentLLM: Attention-Aware Joint Tensor Compression
LatentLLM 以平方根统计预条件、单位块分解和联合投影优化改善低秩压缩质量，但简单 VO 未见收益，实际推理加速仍待验证。
HOLA
A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets
HOLA 按残差写入幅度选择精确 KV，并分离读取归一化，改善困惑度与长距召回；固定缓存容量及主实验单种子限制结论。
KVM
Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
KVM 以统一 softmax 读取近期窗口和可扩展压缩记忆，在容量、长检索和计算成本间取得可调折中，但收益依赖任务与规模。
MELT
Memory-Efficient Looped Transformer: Decoupling Compute from Memory in Looped Language Models
MELT 以门控记忆和两阶段迁移将四轮循环的 KV 缓存降至 Ouro 的四分之一，保留接近教师的性能；精读标注原文排名与显存算术差异。
没有找到匹配论文，试试其他关键词或标签。