efficient-inference
按标签浏览论文。
Tail-Replay
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
Tail-Replay 缓存精确 FA KV 与输出隐藏向量，以独立短尾重放近似恢复循环状态，实现灵活前缀复用；质量代价依赖任务，RULER 汇总存在已标注冲突。
BinaryPC
Training-Free Hashing-Based Attention via Binary Principal Components
BinaryPC 以 64 位二值重构和高误差 token 保护实现免训练稀疏检索，改善长上下文解码效率，同时保留完整 KV 缓存。
LRKV
Low-Rank Key Value Attention
LRKV 用共享稠密 K/V 与每头低秩残差压缩缓存并改善报告的语言建模损失，但完整 RoPE 兼容性与部分缓存、消融数据仍有关键矛盾。
ELR
One Model to Loop Them All: Elastic Latent Recurrence for Language Models
ELR以门控更新、同次更新混合深度与循环条件调制保留单循环平均能力，并用额外循环提升质量；路由和KV复用各有成本与任务取舍。
Sigma
Large Language Continuous Diffusion Models
Sigma 将可学习低维连续扩散扩展到 3B/8B，以轨迹引导、球面正则化和蒸馏改善推理覆盖率与少步生成。
CALM
Continuous Autoregressive Language Models
CALM以鲁棒潜表示和单步能量生成头实现块级语言生成，降低FLOPs；收益需结合离散反馈、温度采样成本与BrierLM适用条件理解。
Efficient-DLM
Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
Efficient-DLM 以干净前文的分块注意力和位置相关遮罩实现 AR 到扩散模型的转换，在小 batch 下改善并行生成的准确率与吞吐量取舍。
ELF-REG
ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
以教师表示对齐和全局状态联合去噪改善连续语言模型，并通过前缀早停在较低 NFE 下完成数学与代码任务。
FMLM-star
Self-conditioned Flow Map Language Models via Fixed-point Flows
将自条件解释为局部不动点迭代，分别蒸馏预测修正与流时间推进，改善单步及少步文本生成；在线方案降低蒸馏成本。
ELF
ELF: Embedded Language Flows
ELF 通过连续嵌入流与共享末端解码改善少步文本生成，渐进蒸馏进一步提速；效果需结合多样性、语义忠实度与训练成本解读。
CDLM
Consistent Diffusion Language Models
CDLM 利用精确后验桥实现单阶段跨噪声一致性训练，改善少步离散生成；收益需结合熵评价，效率报告采用 NFE。
DAMP
DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
DAMP 结合局部量化误差与未来衰减保留程度选择 FP16 通道，其余状态用 INT8 存储，以约 9.9 bits 保持接近 FP32 的准确率并降低推理开销。
StateReduction
On State Reduction in Linear Attention
联合裁剪key/query缩小递归状态，DRRQR以秩揭示QR选择通道；恢复后语言建模质量接近原模型，纯递归长程召回仍有明显代价。
HashAttention
HashAttention: Semantic Sparsity for Faster Inference
HashAttention 用学习式二进制签名提高重要 token 召回，以紧凑辅助索引减少 KV 访问；研读区分质量与加速口径并修正理论公式。
BASED
Simple linear attention language models balance the recall-throughput tradeoff
BASED 以全局 Taylor 线性记忆、小窗口注意力和短卷积改善召回，并通过 IO-aware 内核提高生成吞吐；研读澄清了原文数字与评测口径的不一致。
DeltaLog
DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
DeltaLog以稠密基底和有界更新日志延迟状态写回，在保持递推语义的条件下减少写流量，并在所测服务配置中加速整模型解码1.05–1.20倍。
Metis
Metis: Memory Foundation Model
Metis以固定状态和可学习读写实现无在线梯度的跨轮次记忆，节省存储与查询成本，但长期容量、遗忘和指令遵循仍受限。
DSLA
On-the-Fly Adaptive Distillation of Transformer to Dual-State Linear Attention
DSLA以历史与近期双状态配合按敏感度逐层转换，在指定服务回放中实现2.29倍加速，并呈现任务相关的质量取舍。
ResidualKV
ResidualKV: Residual-Based KV Cache Compression for Efficient Long-Context Inference
以全局参考和量化残差压缩 KV，结合稀疏按需恢复兼顾质量与存储；v2 部分实验预算口径仍需澄清。
PartRep
PARTREP: Learning What to Repeat for Decoder-only LLMs
PartRep 用高 NLL 监督训练中间层门控，以选择性重复保留接近完整重复的平均收益，并降低相对完整重复的缓存与预填充成本。
没有找到匹配论文，试试其他关键词或标签。