Efficiency
KV 缓存、计算内核与数值精度。
LLA
Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers
LLA以跨循环低秩轨迹压缩KV，on-policy蒸馏改善部分长生成；容量收益明确，但吞吐、评测协议和原文表述存在边界。
YOCO
You Only Cache Once: Decoder-Decoder Architectures for Language Models
YOCO通过双解码器共享一份全局KV缓存，保留全局注意力并显著降低长上下文预填充与显存成本。
DepthWeave-KV
DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression
跨层共享低秩基结合 token 自适应残差与输出误差反馈压缩 KV；报告 8.3× 缩减，但实验配置缺失且消融存在冲突。
FusedKV
Reconstructing KV Caches with Cross-layer Fusion For Enhanced Transformers
通过底层与中层 K/V 融合将缓存减半并改善语言建模；完整融合存在解码访存开销，长上下文质量仍有折中。
DA
Language Models Can Control Their Own Attention
DA 让模型用文本声明动态注意力范围，在两个大模型上减少 52.0%/31.1% 的累计解码读取量；时间收益仍为模型估算，且存在任务与协议失败边界。
SpargeAttn
SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
通过选择性块压缩与在线 softmax 二次筛选，结合量化加速跨模态注意力，并保护难以压缩的异常块。
MoDA
Mixture-of-Depths Attention
MoDA 用统一 softmax 联合检索序列与同位置深度 KV，在所测模型中改善质量，并以融合内核降低长序列下的相对开销。
BoV
Do Value Vectors in Deep Layers Need Context from the Residual Stream?
BoV 在最后三分之一层以逐层 token 查表替代 Value 投影，在所测规模改善平均表现，但参数存储与缓存收益取决于负载。
EG-MLA
EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs
EG-MLA 用 token 嵌入门控与归一化换取更小 KV 状态，Base 缓存减少约 60% 且平均质量保持，但额外参数、解码开销与缩放结果需一并衡量。
ResFormer
Value Residual Learning
ResFormer 通过首层 value 残差改善深层信息利用；SVFormer 共享 value 节省 KV 缓存，质量收益依赖训练长度与优化条件。
没有找到匹配论文，试试其他关键词或标签。