RESEARCH LIBRARY
gpu-kernels
按标签浏览论文。
共 5 篇论文 · 按研读更新时间排序
ContinuumAttention
Continuum Attention
CA 将相邻 key/value 线性插值并用闭式指数矩精确积分，在匹配温度的小模型和 101M 多语言评测中改善 NLL/BPB，但仍保持二次复杂度且跨域表现有差异。
LLA
Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
LLA以查询局部线性回归减轻Softmax边界偏差，FlashLLA降低工作显存；合成非平稳回归与关联回忆受益，状态跟踪仍弱。
SparseGDN
SparseGDN: Chunk Sparse in Linear Attention
SparseGDN结合块邻接Delta求解、动态循环事件选择和紧凑GPU执行，在保留约29%更新事件时加速长上下文GDN核心预填充。
DAMP
DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
DAMP 结合局部量化误差与未来衰减保留程度选择 FP16 通道，其余状态用 INT8 存储，以约 9.9 bits 保持接近 FP32 的准确率并降低推理开销。
DeltaLog
DeltaLog: Deferred Materialization of Recurrent States for Linear Attention Decoding
DeltaLog以稠密基底和有界更新日志延迟状态写回，在保持递推语义的条件下减少写流量，并在所测服务配置中加速整模型解码1.05–1.20倍。
没有找到匹配论文，试试其他关键词或标签。