associative-recall
按标签浏览论文。
KLA
Kaczmarz Linear Attention
KLA 用 key 能量归一化残差写入步长,保留 GDN 分块结构并改善预训练与长程关联召回;研读区分了消融取舍和解码计时疑点。
LLA
Local Linear Attention: An Optimal Interpolation of Linear and Softmax Attention For Test-Time Regression
LLA以查询局部线性回归减轻Softmax边界偏差,FlashLLA降低工作显存;合成非平稳回归与关联回忆受益,状态跟踪仍弱。
RAM-Net
RAM-Net: Linear-Time Sequence Modeling with Sparsely Addressable State
RAM-Net 用乘积式稀疏地址读写固定槽位,提升长程细粒度检索并减少每步状态访问;困难长程与真实文档回忆仍受寻址限制。
QED
The Query Knows What to Forget: A Second Erase Direction for Linear Attention
QED 在 GDN-2 擦除向量中加入 query 派生的正交修正,保持 rank-one 更新并改善长上下文检索;门控、投影及推理强度的作用随训练种子变化。
MDN
MDN: Parallelizing Stepwise Momentum for Delta Linear Attention
MDN 以求和换序和下三角求解并行化逐步动量,改善线性模型检索,但增加双状态与训练成本;研读厘清 v1 的公式和稳定性条件。
Samba
Samba: Simple Hybrid State Space Models for Efficient Unlimited Context Language Modeling
Samba交替组合Mamba、SWA与MLP,改善匹配训练下的模型质量与长序列效率;百万长度预测外推与任务微调后的精确召回需分别理解。
DAT
Delayed Attention Training Improves Length Generalization in Transformer--RNN Hybrids
DAT先训练循环路径再启用注意力,显著改善复合任务的长度泛化;三倍长度时五种混合结构中四种准确率超过90%。
SelectiveRoPE
Selective Rotary Position Embedding
Selective RoPE 用输入相关的累计旋转补充遗忘门,改善合成召回与状态追踪,语言建模收益依架构与规模而异。
BASED
Simple linear attention language models balance the recall-throughput tradeoff
BASED 以全局 Taylor 线性记忆、小窗口注意力和短卷积改善召回,并通过 IO-aware 内核提高生成吞吐;研读澄清了原文数字与评测口径的不一致。
Triadic
Triadic Linear Attention: Three-Dimensional Recurrent States for Long-Context Sequence Modeling
Triadic以双key乘积地址低参数扩展三维递归状态,改善长文预测与召回;8倍状态约增加30%单块训练耗时,最长精确检索仍有缺口。
LinearAttn-Memory
How Linear Attention Remembers
因果干预揭示循环状态通过集中读写支持选择性召回,负载与写入重叠引发干扰,混合模型的直接记忆载体转向 KV 缓存。
CyFA
CyFA: Linear Sequence Modeling with Relative-Time-Partitioned Memory
通过可学习时钟组织相对时间槽,并用精确坐标变换实现两遍标量递推,在匹配主状态预算下改善召回。
LoLA
LoLA: Low-Rank Linear Attention With Sparse Caching
LoLA 以自召回误差分配稀疏缓存与线性状态,显著改善等预算关联召回,但长文能力、预填充开销与缓存计数仍有边界。
OSDN
OSDN: Improving Delta Rule with Provable Online Preconditioning in Linear Attention
OSDN以在线对角预条件缩放写入key,改善340M受控召回;1.3B局部残差收缩更强,但未转化为重复召回提升。
BayesianLayer
Memory by Design: Probabilistic Sequence Layers
Bayesian Layer 用稠密协方差调整写入方向与强度,改善关联召回,但增加状态成本并存在语言建模困惑度取舍。
没有找到匹配论文,试试其他关键词或标签。