Kernels & Precision
按研读更新时间浏览本主题的论文；一篇论文可属于多个主题。
ContinuumAttention
Continuum Attention
CA 将相邻 key/value 线性插值并用闭式指数矩精确积分，在匹配温度的小模型和 101M 多语言评测中改善 NLL/BPB，但仍保持二次复杂度且跨域表现有差异。
LLA
Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
LLA以查询局部线性回归减轻Softmax边界偏差，FlashLLA降低工作显存；合成非平稳回归与关联回忆受益，状态跟踪仍弱。
SparseGDN
SparseGDN: Chunk Sparse in Linear Attention
SparseGDN结合块邻接Delta求解、动态循环事件选择和紧凑GPU执行，在保留约29%更新事件时加速长上下文GDN核心预填充。
PACE
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
PACE 通过周期性舍入、按值通道分组量化及按头分配精度，以更低驻留显存维持循环状态质量。
ParisKV
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
ParisKV以固定球面方向中心、GPU碰撞筛选和4-bit校正重排稳定检索历史KV，再用UVA按需取回，在长生成与百万token推理中兼顾准确率和解码速度。
LowBitNGram
Low-Bit N-Gram Embeddings for Language Models
逐行缩放的4-bit n-gram表节省约75%表内存并保留99%以上原表收益，2-bit扩表还能以约半数内存超过原表。
LeapQuant
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
LeapQuant 以窗口量化、低秩补偿 token 和残差平滑抑制递归误差，8 位保持接近 FP32 的质量，并降低状态存储与推理成本。
BinaryPC
Training-Free Hashing-Based Attention via Binary Principal Components
BinaryPC 以 64 位二值重构和高误差 token 保护实现免训练稀疏检索，改善长上下文解码效率，同时保留完整 KV 缓存。
Puro-2B
Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
Puro-2B结合消费级GPU、FP8、MuonH与课程模型平均，在限定GPU成本口径下以约4.4K美元达到Qwen2综合分数，最佳6.9K美元模型保留后训练收益。
DAMP
DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
DAMP 结合局部量化误差与未来衰减保留程度选择 FP16 通道，其余状态用 INT8 存储，以约 9.9 bits 保持接近 FP32 的准确率并降低推理开销。
DeltaLog
DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
DeltaLog以稠密基底和有界更新日志延迟状态写回，在保持递推语义的条件下减少写流量，并在所测服务配置中加速整模型解码1.05–1.20倍。
ResidualKV
ResidualKV: Residual-Based KV Cache Compression for Efficient Long-Context Inference
以全局参考和量化残差压缩 KV，结合稀疏按需恢复兼顾质量与存储；v2 部分实验预算口径仍需澄清。
OASIS
Attention Sinks and Outliers in Attention Residuals
OASIS 通过 token 与深度双空路由及空概率反馈改善 AttnResidual 的低比特稳健性；Qwen 消融中耦合额外提升 GSM8K 4.67 个百分点，12K 长上下文恢复大部分损失。
VarRate
VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs
VarRate按注意力显著性分配每token低秩预算，显著优于统一秩并改善查询复用鲁棒性，但运行时显存收益仍依赖融合内核。
SpargeAttn
SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
通过选择性块压缩与在线 softmax 二次筛选，结合量化加速跨模态注意力，并保护难以压缩的异常块。
没有找到匹配论文，试试其他关键词或标签。