efficient-inference
按标签浏览论文。
zip2zip
zip2zip: Inference-Time Adaptive Tokenization via Online Compression
zip2zip 通过在线字典、动态向量与压缩语言建模减少输入输出 token，但数值推理与部分翻译质量存在显著代价。
Orthros
Orthros: Phase-Aware Heterogeneous Attention for Efficient Transformers
Orthros 用局部基础流建立完整 KV、按需全局输出查询降低预填充成本，保留召回能力，但增加训练计算且长输出时收益减弱。
WavePrune
WavePrune: One period is often enough for RoPE
WavePrune 将各 RoPE 通道截断在首周期，改善多数测试模型的长上下文表现与预训练外推，并以分组内核加速推理；Llama 的远程高频检索是重要反例。
RAM-Net
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
RAM-Net 用乘积式稀疏地址读写固定槽位，提升长程细粒度检索并减少每步状态访问；困难长程与真实文档回忆仍受寻址限制。
NoteBank
History Replays Itself: Unleashing Long-Context Capability in Linear Attention
NoteBank 用查询未知时的稀疏文本存档与原生回放恢复冻结骨干的远距检索；自然任务收益需区分读出适配、状态重置及实际系统开销。
RetrievalAttention
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
利用预填充查询构建注意力感知向量索引，从 CPU 动态检索少量 KV 并与 GPU 常驻缓存合并，在长上下文解码中降低检索和显存成本。
Jeva
Jeva: System One Models from First Principles
Jeva 将候选独立编码与集合条件化状态更新结合，用覆盖门识别空答案，并以置换对称和候选级缓存支持稳定且可扩展的类型化决策。
NCM
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
NCM以多尺度残差离散代码组织粗到细的并行文本生成，在多个任务以更少采样调用取得竞争质量和显著推理加速。
ParisKV
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
ParisKV以固定球面方向中心、GPU碰撞筛选和4-bit校正重排稳定检索历史KV，再用UVA按需取回，在长生成与百万token推理中兼顾准确率和解码速度。
MemT
MemT-1.0: Towards Memory-Native Evolution
MemT-1.0 以稳定逐 token 写入和跨轮状态在参数化记忆基准领先，并降低长历史存储与延迟；精细召回仍落后于文本记忆。
LightTransfer
LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation
LightTransfer 根据层级注意力局部性将部分全注意力转换为流式访问，通过在线缓存释放改善吞吐；长推理需训练适配，研读澄清了分数降幅、实验预算及图文矛盾。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
Mamba-3
Mamba-3: Improved Sequence Modeling using State Space Principles
Mamba-3 以指数梯形写入、输入相关旋转和 MIMO 提升固定状态模型的表达能力与解码效率，并揭示训练计算、检索和归一化的具体取舍。
LeapQuant
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
LeapQuant 以窗口量化、低秩补偿 token 和残差平滑抑制递归误差，8 位保持接近 FP32 的质量，并降低状态存储与推理成本。
ClockDiffusion
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
Clock Diffusion 用错开的局部去噪时钟与因果前缀缓存实现连续扩散的半自回归生成，Cache Grab 提前提交降低模型调用次数；SSD 需联合 AR 训练。
AlgebraLayers
Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers
结合代数通过保留权重、减少固定交互降低投影计算；小模型生成提速约7%但质量下降，理论与内核证据需和递归模型实验分开理解。
OAL
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
OAL 按 QK 维度贡献分组学习正值二次核，以精确 HD 递推改善预训练注意力转换；系数少但二阶状态成本仍高。
VHA
Virtual Head Attention
VHA以查询前混合和低秩输出混合训练两KV头GQA，在压缩缓存下改善质量，并可将新增模块合并进标准投影。
Samba
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
Samba交替组合Mamba、SWA与MLP，改善匹配训练下的模型质量与长序列效率；百万长度预测外推与任务微调后的精确召回需分别理解。
HYPIC
HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching
HYPIC 以段级转移算子组合循环状态，结合边界重算与冷段并行加速混合注意力服务；需区分单层精确组合与深层近似复用。
没有找到匹配论文，试试其他关键词或标签。