Attention
注意力计算、混合机制与位置表示。
CST
Learning Length-Extrapolatable Recurrent Models
CST 通过局部缩放反向状态信用改善循环模型的长度外推，在合成任务与小型语言模型中取得收益，但存在任务依赖与训练吞吐代价。
RetrievalAttention
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
利用预填充查询构建注意力感知向量索引，从 CPU 动态检索少量 KV 并与 GPU 常驻缓存合并，在长上下文解码中降低检索和显存成本。
SwiLA
Switching Linear Attention
SwiLA 以预测误差驱动的多专家线性回归实现固定状态的非线性检索，在等状态容量的召回任务中改善表现，但顺序训练吞吐低于 GDN。
PoPE
Decoupling the "What" and "Where" With Polar Coordinate Positional Embeddings
PoPE 用非负内容幅值与位置相位解耦注意力匹配，在间接索引、序列建模和长上下文外推实验中优于 RoPE。
PACE
PACE: Periodic and Channel-Aligned Encoding of Four-Bit Recurrent States
PACE 通过周期性舍入、按值通道分组量化及按头分配精度，以更低驻留显存维持循环状态质量。
ParisKV
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
ParisKV以固定球面方向中心、GPU碰撞筛选和4-bit校正重排稳定检索历史KV，再用UVA按需取回，在长生成与百万token推理中兼顾准确率和解码速度。
OpenAttention
OpenAttention: One Percent Is Enough with Tail Proxies
用查询几何分簇和按误差分配的长尾代理，在 RULER-32K HARD 上以 1% 读取保留约 99% 的密集注意力准确率。
KronLSTM
Kronecker Delta Rule for Long Context Linear Attention
KronLSTM 用键值双重定向的标量误差修正矩阵记忆，在相同预训练预算下提升平均语言与自然文本检索表现，但重复噪声检索和32k绝对准确率仍有限。
LightTransfer
LightTransfer: Your Long-Context LLM is Secretly a Hybrid Model with Effortless Adaptation
LightTransfer 根据层级注意力局部性将部分全注意力转换为流式访问，通过在线缓存释放改善吞吐；长推理需训练适配，研读澄清了分数降幅、实验预算及图文矛盾。
MesaNet
MesaNet: Sequence Modeling by Locally Optimal Test-Time Training
MesaNet 用可分块并行的共轭梯度求解累计回归，改善固定状态的上下文学习与召回，并揭示平均困惑度与长距离信息利用之间的差异。
DeltaProduct
DeltaProduct: Improving State-Tracking in Linear RNNs via Householder Products
DeltaProduct 以每 token 多次 Householder 更新增强状态追踪与语言模型外推，保留转移范数界，并呈现依任务及预算变化的性能取舍。
SparDA
SparDA: Sparse Decoupled Attention for Efficient Long-Context LLM Inference
SparDA训练轻量Forecast提前一层选块，以紧凑索引器和常驻UVA预取重叠通信与计算，在两种8B模型上保持平均质量并提高长上下文吞吐。
SFDA
Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels
SFDA 以相位旋转扩展 Delta 记忆并给出精确分块 WY 构造；计数实验显示外推边界，研读澄清实化秩与广义模板的适用范围。
MDN
MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
MDN 以求和换序和下三角求解并行化逐步动量，改善线性模型检索，但增加双状态与训练成本；研读厘清 v1 的公式和稳定性条件。
LeapQuant
LeapQuant: Efficient Linear Attention with Accurate Recurrent State Quantization
LeapQuant 以窗口量化、低秩补偿 token 和残差平滑抑制递归误差，8 位保持接近 FP32 的质量，并降低状态存储与推理成本。
OAL
Not All Dimensions Are Equal: Outlier-Aware Attention Linearization with Grouped Quadratic Kernels
OAL 按 QK 维度贡献分组学习正值二次核，以精确 HD 递推改善预训练注意力转换；系数少但二阶状态成本仍高。
DoSA
DoSA: Dots Sparse Attention
DoSA 用带符号多头评分的保守上界安全剪枝，结合完整重评分与稀疏写回加速长上下文 Indexer；精确性依赖数值覆盖、候选恢复与并列规则。
Samba
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
Samba交替组合Mamba、SWA与MLP，改善匹配训练下的模型质量与长序列效率；百万长度预测外推与任务微调后的精确召回需分别理解。
HYPIC
HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching
HYPIC 以段级转移算子组合循环状态，结合边界重算与冷段并行加速混合注意力服务；需区分单层精确组合与深层近似复用。
Tail-Replay
Tail-Replay: Escaping the Curse of Linear Attention in Prefix Caching for Hybrid LLMs
Tail-Replay 缓存精确 FA KV 与输出隐藏向量，以独立短尾重放近似恢复循环状态，实现灵活前缀复用；质量代价依赖任务，RULER 汇总存在已标注冲突。
没有找到匹配论文，试试其他关键词或标签。