inference
按标签浏览论文。
Transformer-FSQ
Transformer-FSQ: Discrete Latents for Extreme KV-Cache Compression
Transformer-FSQ以共享4-bit离散潜码压缩K/V缓存，在所测Qwen3模型的极端压缩RULER检索上保持领先，并以融合内核维持解码吞吐。
PACE
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
PACE 通过周期性舍入、按值通道分组量化及按头分配精度，以更低驻留显存维持循环状态质量。
DLite
DLite: History-free Speculative Decoding for Agentic AI
DLite 复用目标模型隐藏状态，让草稿器只做局部预测并免维护历史 KV；在长上下文代理任务上显著提高接受长度与解码速度。
OpenAttention
OpenAttention: One Percent Is Enough with Tail Proxies
用查询几何分簇和按误差分配的长尾代理，在 RULER-32K HARD 上以 1% 读取保留约 99% 的密集注意力准确率。
Recirculation
Recirculation
把 token 的深层状态反馈到浅层并与后续 token 流水并行；固定版收益有限，自适应版训练反馈系数后在特定任务上提升更大，但预填充成本和评估条件仍需注意。
DoSA
DoSA: Dots Sparse Attention
DoSA 用带符号多头评分的保守上界安全剪枝，结合完整重评分与稀疏写回加速长上下文 Indexer；精确性依赖数值覆盖、候选恢复与并列规则。
RIS-Kernel
RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention
RIS-Kernel以随机与局部连接并集及统一softmax实现CPU长上下文推理；复杂度、统计强度及32k图表一致性限制其结论。
Trace-as-State
Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers
将首轮推理轨迹前置到长上下文重读，在多数指标上优于同轨迹后置；最强收益来自图父节点任务，并伴随额外推理成本。
VarRate
VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs
VarRate按注意力显著性分配每token低秩预算，显著优于统一秩并改善查询复用鲁棒性，但运行时显存收益仍依赖融合内核。
DA
Language Models Can Control Their Own Attention
DA 让模型用文本声明动态注意力范围，在两个大模型上减少 52.0%/31.1% 的累计解码读取量；时间收益仍为模型估算，且存在任务与协议失败边界。
SpargeAttn
SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
通过选择性块压缩与在线 softmax 二次筛选，结合量化加速跨模态注意力，并保护难以压缩的异常块。
没有找到匹配论文，试试其他关键词或标签。