RESEARCH LIBRARY
attention
按标签浏览论文。
共 26 篇论文 · 按研读更新时间排序
LaCT
Test-Time Training Done Right
LaCT用大块在线更新提高计算效率以扩展非线性记忆，并结合局部注意力处理图像、语言和视频；复杂检索仍落后全注意力。
YOCO
You Only Cache Once: Decoder-Decoder Architectures for Language Models
YOCO通过双解码器共享一份全局KV缓存，保留全局注意力并显著降低长上下文预填充与显存成本。
FusedKV
Reconstructing KV Caches with Cross-layer Fusion For Enhanced Transformers
通过底层与中层 K/V 融合将缓存减半并改善语言建模；完整融合存在解码访存开销，长上下文质量仍有折中。
SpargeAttn
SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
通过选择性块压缩与在线 softmax 二次筛选，结合量化加速跨模态注意力，并保护难以压缩的异常块。
MoDA
Mixture-of-Depths Attention
MoDA 用统一 softmax 联合检索序列与同位置深度 KV，在所测模型中改善质量，并以融合内核降低长序列下的相对开销。
BoV
Do Value Vectors in Deep Layers Need Context from the Residual Stream?
BoV 在最后三分之一层以逐层 token 查表替代 Value 投影，在所测规模改善平均表现，但参数存储与缓存收益取决于负载。
没有找到匹配论文，试试其他关键词或标签。