RESEARCH LIBRARY
delta-rule
按标签浏览论文。
共 4 篇论文 · 按研读更新时间排序
KLA
Kaczmarz Linear Attention
KLA 用 key 能量归一化残差写入步长，保留 GDN 分块结构并改善预训练与长程关联召回；研读区分了消融取舍和解码计时疑点。
DeltaFormer
Understanding Transformer from the Perspective of Associative Memory
以关联记忆的检索信噪比与残差写入统一分析 Attention 和 FFN，并以 DeltaFormer 的状态追踪构造及合成实验展示核与更新规则的作用。
Q-Delta
Q-Delta: Beyond Key-Value Associative State Evolution
Q-Delta 将 query 反馈引入 delta 写入，改善平均语言评测和合成检索；真实召回收益有限，v1 分块公式存在需修正之处。
EDA
Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention
EDA 先沿独立地址清理记忆，再执行 delta 修正写入；混合模型平均分提升，但长上下文逐项优势与历史回忆均有边界。
没有找到匹配论文，试试其他关键词或标签。