sparse-attention
按标签浏览论文。
WavePrune
WavePrune: One period is often enough for RoPE
WavePrune 将各 RoPE 通道截断在首周期，改善多数测试模型的长上下文表现与预训练外推，并以分组内核加速推理；Llama 的远程高频检索是重要反例。
SAB
Sparse Attentive Backtracking: Temporal CreditAssignment Through Reminding
SAB 通过稀疏检索历史状态并在其附近回传局部梯度，弥补 TBPTT 的远程信用缺口并改善复制任务的长度泛化。
RetrievalAttention
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
利用预填充查询构建注意力感知向量索引，从 CPU 动态检索少量 KV 并与 GPU 常驻缓存合并，在长上下文解码中降低检索和显存成本。
ParisKV
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
ParisKV以固定球面方向中心、GPU碰撞筛选和4-bit校正重排稳定检索历史KV，再用UVA按需取回，在长生成与百万token推理中兼顾准确率和解码速度。
OpenAttention
OpenAttention: One Percent Is Enough with Tail Proxies
用查询几何分簇和按误差分配的长尾代理，在 RULER-32K HARD 上以 1% 读取保留约 99% 的密集注意力准确率。
LightTransfer
LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation
LightTransfer 根据层级注意力局部性将部分全注意力转换为流式访问，通过在线缓存释放改善吞吐；长推理需训练适配，研读澄清了分数降幅、实验预算及图文矛盾。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
DoSA
DoSA: Dots Sparse Attention
DoSA 用带符号多头评分的保守上界安全剪枝，结合完整重评分与稀疏写回加速长上下文 Indexer；精确性依赖数值覆盖、候选恢复与并列规则。
BinaryPC
Training-Free Hashing-Based Attention via Binary Principal Components
BinaryPC 以 64 位二值重构和高误差 token 保护实现免训练稀疏检索，改善长上下文解码效率，同时保留完整 KV 缓存。
Hybrid-Hierarchy
A Provable Expressiveness Hierarchy in Hybrid Linear-Full Attention
以通信复杂度分析混合注意力的顺序复合下界，区分全注意力访问轮数与循环状态容量，并标注 v1 的证明及参数范围问题。
HashAttention
HashAttention: Semantic Sparsity for Faster Inference
HashAttention 用学习式二进制签名提高重要 token 召回，以紧凑辅助索引减少 KV 访问；研读区分质量与加速口径并修正理论公式。
Diffuser
Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences
用多跳扩散复用稀疏注意力权重，改善长序列建模；显存与时间存在取舍，LRA原报均值有算术差异。
ResidualKV
ResidualKV: Residual-Based KV Cache Compression for Efficient Long-Context Inference
以全局参考和量化残差压缩 KV，结合稀疏按需恢复兼顾质量与存储；v2 部分实验预算口径仍需澄清。
Attention-Evolution
The Evolution of Attention in Large Language Models: Mechanisms, Trade-offs, and Emerging Trends
以表示、更新、访问、读出和整合五维梳理注意力演化，指出混合架构与跨层复用正把网络深度纳入记忆生命周期管理。
RIS-Kernel
RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention
RIS-Kernel以随机与局部连接并集及统一softmax实现CPU长上下文推理；复杂度、统计强度及32k图表一致性限制其结论。
LoLA
LoLA: Low-Rank Linear Attention With Sparse Caching
LoLA 以自召回误差分配稀疏缓存与线性状态，显著改善等预算关联召回，但长文能力、预填充开销与缓存计数仍有边界。
MiTA
Mixture-of-Top-k Attention: Efficient Attention via Scalable Fast Weights
MiTA以少量landmark构建可复用top-k专家并联合全局压缩，在视觉与LRA中实现精度—成本取舍；研读核对了算法泛化等图文不一致。
SAS
SAS: Simple Attention Sparsification via End-to-End Optimization of Context Ranking
SAS 通过训练期归一化 log-gate 用语言模型损失学习块排序，改善低预算推理，但超长检索与路由成本仍有限制。
DA
Language Models Can Control Their Own Attention
DA 让模型用文本声明动态注意力范围，在两个大模型上减少 52.0%/31.1% 的累计解码读取量；时间收益仍为模型估算，且存在任务与协议失败边界。
没有找到匹配论文，试试其他关键词或标签。