associative-memory
按标签浏览论文。
RLA
Enhancing Linear Attention with Residual Learning
RLA/RDN 用第二个递推状态拟合历史预测残差,在保持线性扩展的同时改善建模与召回,并增加状态容量和计算开销。
DDN
Dual DeltaNet: Value-Side Memory Reorganization for Linear Attention
DDN 在 KDA 后加入值侧地址响应纠错,以双侧 WY 和秩 2 更新保持固定状态,显著改善 1B NIAH 平均召回,同时增加推理延迟。
GSA2
Gated Slot Attention-2: Two-Sided Associative Memory Correction in Linear Attention
GSA2 通过共享潜在槽组合 OJA2 的 key 侧修正与 Delta-2 的 value 侧修正,改善检索与长上下文平均表现,并承担双阶段训练开销。
DeltaFormer
Understanding Transformer from the Perspective of Associative Memory
以关联记忆的检索信噪比与残差写入统一分析 Attention 和 FFN,并以 DeltaFormer 的状态追踪构造及合成实验展示核与更新规则的作用。
KronLSTM
Kronecker Delta Rule for Long Context Linear Attention
KronLSTM 用键值双重定向的标量误差修正矩阵记忆,在相同预训练预算下提升平均语言与自然文本检索表现,但重复噪声检索和32k绝对准确率仍有限。
MemoryMosaics
Memory Mosaics at scale
Memory Mosaics v2 以自适应核检索、门控 key 与三层记忆扩展至 9.9B,在常规能力接近时改善长文档问答和匿名标签上下文学习。
NL
Nested Learning: The Illusion of Deep Learning Architectures
NL 将架构和优化器统一为多时间尺度的联想记忆,Hope 结合自指更新与 CMS 改善持续学习,但精确召回与计算成本仍有取舍。
MoNe
MoNe: Modular Neural Memory for Efficient Long Context Inference
MoNe以逐层局部快权重更新为冻结Transformer写入长上下文,在受控任务外推至128K并降低显存与FLOPs,但依赖离线任务训练。
KDN
Kalman Delta Networks: Uncertainty-aware Associative Memory
KDN 用可扫描的不确定性递推调整 Delta 写入,在受控预训练中改善纯递归模型质量和合成检索,收益受近似、任务及架构影响。
PDN
Preconditioned DeltaNet: Curvature-aware Sequence Modeling for Linear Recurrences
以有界对角历史统计预条件 DeltaNet 写 key,保留分块效率并改善配对平均指标;精确等价与单步谱界的适用条件需区分。
Proteus
Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
Proteus 在固定记忆预算下渐进开放读写容量,多骨干平均指标改善,较长上下文的困难检索收益更明显。
没有找到匹配论文,试试其他关键词或标签。