kv-cache
按标签浏览论文。
GraphKV
GraphKV: Breaking the Static Selection Paradigm with Graph-Based KV Cache Eviction
GraphKV 用高分源节点与相似邻居间的乘法衰减重排缓存，兼顾重要性与多样性，在小预算事实检索中收益更明显。
Transformer-FSQ
Transformer-FSQ: Discrete Latents for Extreme KV-Cache Compression
Transformer-FSQ以共享4-bit离散潜码压缩K/V缓存，在所测Qwen3模型的极端压缩RULER检索上保持领先，并以融合内核维持解码吞吐。
RetrievalAttention
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
利用预填充查询构建注意力感知向量索引，从 CPU 动态检索少量 KV 并与 GPU 常驻缓存合并，在长上下文解码中降低检索和显存成本。
ParisKV
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
ParisKV以固定球面方向中心、GPU碰撞筛选和4-bit校正重排稳定检索历史KV，再用UVA按需取回，在长生成与百万token推理中兼顾准确率和解码速度。
OpenAttention
OpenAttention: One Percent Is Enough with Tail Proxies
用查询几何分簇和按误差分配的长尾代理，在 RULER-32K HARD 上以 1% 读取保留约 99% 的密集注意力准确率。
LightTransfer
LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation
LightTransfer 根据层级注意力局部性将部分全注意力转换为流式访问，通过在线缓存释放改善吞吐；长推理需训练适配，研读澄清了分数降幅、实验预算及图文矛盾。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
ClockDiffusion
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
Clock Diffusion 用错开的局部去噪时钟与因果前缀缓存实现连续扩散的半自回归生成，Cache Grab 提前提交降低模型调用次数；SSD 需联合 AR 训练。
VHA
Virtual Head Attention
VHA以查询前混合和低秩输出混合训练两KV头GQA，在压缩缓存下改善质量，并可将新增模块合并进标准投影。
LPT
The Surprising Effectiveness of Shared Memory in Looped Transformers
LPT让后续循环共享首轮KV并保留短窗口，在减少缓存的同时改善质量；共享梯度路径支持记忆学习，计算与延迟仍随循环增加。
HYPIC
HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching
HYPIC 以段级转移算子组合循环状态，结合边界重算与冷段并行加速混合注意力服务；需区分单层精确组合与深层近似复用。
Tail-Replay
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
Tail-Replay 缓存精确 FA KV 与输出隐藏向量，以独立短尾重放近似恢复循环状态，实现灵活前缀复用；质量代价依赖任务，RULER 汇总存在已标注冲突。
BinaryPC
Training-Free Hashing-Based Attention via Binary Principal Components
BinaryPC 以 64 位二值重构和高误差 token 保护实现免训练稀疏检索，改善长上下文解码效率，同时保留完整 KV 缓存。
LRKV
Low-Rank Key Value Attention
LRKV 用共享稠密 K/V 与每头低秩残差压缩缓存并改善报告的语言建模损失，但完整 RoPE 兼容性与部分缓存、消融数据仍有关键矛盾。
ELR
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
ELR以门控更新、同次更新混合深度与循环条件调制保留单循环平均能力，并用额外循环提升质量；路由和KV复用各有成本与任务取舍。
Efficient-DLM
Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
Efficient-DLM 以干净前文的分块注意力和位置相关遮罩实现 AR 到扩散模型的转换，在小 batch 下改善并行生成的准确率与吞吐量取舍。
HashAttention
HashAttention: Semantic Sparsity for Faster Inference
HashAttention 用学习式二进制签名提高重要 token 召回，以紧凑辅助索引减少 KV 访问；研读区分质量与加速口径并修正理论公式。
CLM
Context Language Models
CLM 将实时上下文设为模型可编辑文件，通过技能演化、强化学习和近似后缀缓存复用改善长任务的性能与计算成本。
MoNe
MoNe: Modular Neural Memory for Efficient Long Context Inference
MoNe以逐层局部快权重更新为冻结Transformer写入长上下文，在受控任务外推至128K并降低显存与FLOPs，但依赖离线任务训练。
Nectar
Nectar: Neural Estimation of Cached-Token Attention via Regression
Nectar 以输出与归一化量双网络压缩静态文档注意力，随机问题接近完整缓存，但分布外问题和离线训练成本限制适用范围。
没有找到匹配论文，试试其他关键词或标签。