版本与下载

Deep Fusion Memory：逐块预测并在中间层融合的参数化记忆

原题：Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models
作者：Rubin Wei、Siyuan Sun、Hao Sun、Yuliang Liu、Xiang Shi、Jiarui Wang、Junming Zhang、Zhouhan Lin
版本：arXiv:2610.25100v1，2026-10-18 提交；本次研读于 2026-10-26 完成。原文 PDF
发表：截至 2026-10-26 未查到正式发表信息。
代码：论文首页称将于近期发布；截至 2026-10-26 未查到可核实的官方实现。

论文总览

核心问题：把外部语料的知识装入模型，同时避免逐 token 构造检索监督的高成本，并让记忆参与解码器内部计算。已有 MLP Memory 一类参数化记忆虽可免去推理时检索，却需要对每个 token 位置检索邻居，且主要在最终输出分布上插值。Deep Fusion Memory（DFM）改为每 32 个 token 产生一组记忆目标；因果预测器从已见上下文预测这些向量，门控交叉注意力把预测记忆送进冻结语言模型的若干中间层。训练需要离线检索，论文报告的问答推理无需在线检索。（Sec. 1–3，PDF p. 1–5，Fig. 1）

主要发现：六项问答任务的平均分在 Mistral-7B-v0.3 上达到 27.21，较最强对照 xRAG 的 24.14 高 3.07 分／相对 12.71%；在 Qwen3-8B-Base 上达到 26.46，较 MLP Memory 的 23.80 高 2.66 分／论文报告相对 11.19%。领域适配的四项指标平均分在 Qwen3-4B-Base、Qwen3-8B-Base 上分别比 Base 高 6.51、4.38 分。这些是不同任务分数的算术平均，不是准确率统一提高的百分比。（Sec. 4.2–4.3，PDF p. 6–8，Tables 1–2）

结构地图

原文章节	作用	PDF 定位
1 Introduction；2 Related Work	问题及与检索、继续预训练、参数化记忆的关系	p. 1–3
3 Deep Fusion Memory	离线目标、因果预测、深层融合、训练与推理	p. 3–5；Fig. 1、Eqs. (1)–(4)
4 Experiments	六项 QA、三领域适配、效率比较	p. 5–9；Tables 1–2、Fig. 2
5 Ablations and Analysis；6 Conclusion	块大小、融合位置、槽数、门控及结论	p. 9–11；Fig. 3、Table 3
Appendices A–E	数据与指标、OLMo3／LawBench、其他消融、成本口径、案例	p. 14–25；Tables 4–13、Figs. 4–6

一：动机——降低监督成本，让记忆进入隐藏状态

继续预训练（CPT）与 LoRA 可把新语料吸收到参数里，但会改动原模型或附加适配器，并可能损害原有能力。检索增强生成（RAG）可在回答时访问语料，却依赖在线搜索及证据处理。MLP Memory 等方案提前学习检索得到的下一个 token 分布，因此推理时不检索；代价是对大量 token 位置分别搜索邻居，并且只在输出概率上同主模型混合。DFM 将监督粒度改为块，将使用记忆的位置移到解码器的隐藏层。（Sec. 1–2，PDF p. 1–3）

这里有两个不同的节省来源：同一组目标供一个块内多个 token 使用，减少检索查询数；DFM 每次保留 Top-16 个邻居向量，而效率对照 MLP Memory 使用 Top-1024，又减少每次查询的返回条目数。它们不能合并解释为模型每步推理快 2048 倍。（Sec. 4.4、Appendix D，PDF p. 9、23）

二：方法——离线检索当教师，因果预测器在推理时接班

图 1：DFM 的记忆预测、解码器与门控融合

原 Fig. 1，PDF p. 4。左侧是离线检索目标和在线可运行的记忆预测器，中部标出插入记忆的解码层，右侧展开一层内与自注意力并行的门控交叉注意力。

2.1 构造块级目标

将训练序列切成长度为 $C$ 的不重叠块 $X_0,\ldots,X_{J-1}$。对 $j\ge1$，用前一块 $X_{j-1}$ 作检索查询，从训练语料的块索引中取 Top-$K$ 邻居，编码为按检索排名排列的目标矩阵 $V_j\in\mathbb R^{K\times d_m}$。默认 $C=32$、$K=16$、$d_m=1024$；目标编码器为冻结的 Qwen3-Embedding-0.6B，向量作 $L_2$ 归一化，索引用 FAISS IVF-PQ。第一块没有前一块，因此不接受记忆监督。顺序使第 $j$ 块的目标仅依赖已出现内容。（Sec. 3.1、Appendix A.1，PDF p. 3–4、14）

2.2 预测记忆

冻结主模型的词嵌入 $e_i=E_\theta(x_i)$，对上一块的嵌入取均值，经必要的线性投影得到块表示 $C_j$。一个因果 Transformer 读取这些块表示的前缀，并用 $K$ 个独立输出头产生对应排名位置的向量：

$$ \widehat V_j=\operatorname{Predictor}_\phi(C_{\le j})\in\mathbb R^{K\times d_m}. $$

$C_j$ 汇总 $X_{j-1}$，所以 $\widehat V_j$ 最多利用 $X_0,\ldots,X_{j-1}$；$C_0$ 是被掩码的占位符。默认预测器有 28 层、1024 隐藏宽度、16 个查询头和 8 个 KV 头。预测器的任务不是复述检索文本，而是学习可供融合层使用的连续向量。（Sec. 3.2，Eq. (1)，PDF p. 4；Appendix A.1，p. 14）

教学例子：若前一块出现一个地名，离线检索可以给下一块提供与该地名有关的若干邻居向量；训练后的预测器要从此前文本预测类似的向量。模型在生成时只持有自己的预测向量，并不会重新读取那些原文段落。

2.3 投影、注意力与门控

共享投影器把 $\widehat V_j$ 逐槽映射到主模型隐藏宽度：$M_j=P_\psi(\widehat V_j)\in\mathbb R^{K\times d}$。在选定的解码层中，当前 token 归一化状态 $z_t=\operatorname{Norm}(h_t)$ 作为查询，$M_j$ 作键和值；每个注意力头在 $K$ 个槽上归一化。逐 token、逐头门控计算为

$$ g_t=\sigma(W_g z_t+b_g),\qquad u_t=W_O\operatorname{Concat}_{a=1}^{H}(g_{t,a}o_{t,a}), $$

$$ \widetilde h_t=h_t+\operatorname{SelfAttn}(z_{\le t})+u_t. $$

$o_{t,a}$ 是第 $a$ 个交叉注意力头从共享记忆读出的结果，$g_{t,a}$ 控制该头本次注入强度。随后原解码器的 FFN 继续加工融合后的状态。预测器和投影器跨融合层共享，交叉注意力与门控参数按层区分；默认融合层的零基编号为 $[9,16,24,31]$。对位置 $t$ 预测 $x_{t+1}$ 时用 $j=\lfloor(t+1)/C\rfloor$ 指定目标块，块边界之前已经观测到完整上一块。（Sec. 3.2，Eqs. (2)–(3)，PDF p. 4–5）

2.4 联合训练与推理

$$ \mathcal L=\mathcal L_{\mathrm{LM}}+\beta\mathcal L_{\mathrm{MSE}},\qquad \mathcal L_{\mathrm{MSE}}= \frac{\sum_{j=1}^{J-1}\lVert\widehat V_j-V_j\rVert_F^2}{(J-1)Kd_m},\quad \beta=1. $$

语言模型损失始终通过预测记忆反传给融合层和预测器；检索向量 $V_j$ 只作 MSE 教师，不直接喂给主模型。主模型、检索编码器冻结，训练的部件包括预测器、查询投影、共享记忆投影器、交叉注意力和门控。推理时无需目标向量、检索索引或外部编码器，但仍执行新增模块的计算。（Sec. 3.2–3.3，Eq. (4)，PDF p. 5）

问答评测的具体实现比一般的逐块叙述更窄：它从可见的当前问题提示块形成查询，一次算出记忆并在答案生成期间保持固定；新生成的答案块不刷新查询，也不接收直接记忆更新。这与训练时使用前一块作为查询的描述不同。论文的 QA 分数因而检验的是固定提示记忆辅助回答，而不是持续更新记忆的长文本生成。（Appendix A.1，PDF p. 14–15）

三：实验——比较对象、数据和指标

QA 用 2018 年 12 月英文 Wikipedia 的约 4B token 训练；附录按分词器给出 Mistral 4.70B、Qwen3 4.29B、OLMo3 4.08B。语料按文章题名划分，检索库仅含训练块。主模型为 Mistral-7B-v0.3 和 Qwen3-8B-Base。DFM 新增约 0.75B 参数，训练一轮，主要配置是 2048-token 序列、全局批量 128、16 张 A800 80GB。对照包括在线检索的 RAG、xRAG、RETRO，以及 CPT、LoRA、MLP Memory；LoRA 的新增参数量与 DFM 匹配。（Sec. 4.1、Appendix A.1，PDF p. 6、14）

六项 QA 中，NQ、WebQA 是单跳，HotpotQA、2Wiki、MuSiQue、Bamboogle 是多跳。除 WebQA 使用子串命中率外，其余使用归一化答案的 F1；各项均在 0–100 分尺度，Avg. 是六项等权平均。DFM 采用零样本贪心解码，无在线检索、标准答案文档或思维链示例。Bamboogle 测试集只有 125 题，读其消融波动时须留意样本量。（Appendix A.1，Table 4，PDF p. 14–15）

领域适配分别训练 Code、Math、Law 三个模型：前两者各 100M 训练 token，法律 123.5M；在 Qwen3-4B-Base 与 Qwen3-8B-Base 上评测。HumanEval/HumanEval+ 使用执行正确性估算 pass@1，GSM8K 是数学题得分，LawBench 是 20 个法律子任务的等权宏平均；领域总 Avg. 再等权平均这四个指标。与 QA 不同，HumanEval 有 3 个示例且每题取 4 个样本，GSM8K 有 8 个示例，LawBench 是零样本。（Sec. 4.1、Appendix A.2，PDF p. 6、15）

四：结果——平均收益明确，任务间并不一致

4.1 六项 QA

主模型	Base Avg.	最强对照 Avg.	DFM Avg.	相对最强对照
Mistral-7B-v0.3	13.63	xRAG 24.14	27.21	+3.07 分；+12.71% 相对值
Qwen3-8B-Base	22.71	MLP Memory 23.80	26.46	+2.66 分；论文报 +11.19% 相对值

原 Table 1，PDF p. 7。DFM 在 Mistral 的六项上都超过 Base，但 2Wiki 的 25.00 低于 RAG 的 31.02。在 Qwen3 上，DFM 的 WebQA 从 Base 41.78 降到 39.47，低于 MLP Memory 的 43.26；HotpotQA 26.46 也低于 xRAG 27.74。相反，Qwen3 的 2Wiki 从 Base 24.83 升至 32.38，Mistral 的 Bamboogle 从 3.91 升至 22.65。证据支持“平均分更高”，而非“所有任务均领先”。（Sec. 4.2，PDF p. 6–7）

附录在 OLMo-3-1025-7B 上给出同样六项协议：DFM 25.49，Base 17.99，最强对照 RETRO 23.63；其中 WebQA 和 HotpotQA 反而低于 Base。这个第三主模型扩展了平均收益的观察范围，也再次显示任务差异。（Appendix B.1，Table 5，PDF p. 16）

4.2 代码、数学与法律

主模型	Base Avg.	CPT Avg.	LoRA Avg.	DFM Avg.	DFM − Base
Qwen3-4B-Base	58.18	62.92	60.70	64.69	+6.51 分
Qwen3-8B-Base	63.14	65.06	66.96	67.52	+4.38 分

原 Table 2，PDF p. 8。4B 上 DFM 在 HumanEval、HumanEval+、GSM8K 领先，但 LawBench 40.41 低于 CPT 41.66；8B 上 DFM 的 HumanEval 73.02 和 LawBench 46.61 领先，HumanEval+ 64.02、GSM8K 86.43 则低于 LoRA 的 65.85、87.19。法律宏平均的提升不是 20 个子任务全部改善：附录 Tables 7–8 显示明显差异。（Sec. 4.3、Appendix B.2，PDF p. 8、18–19）

4.3 成本比较

图 2：新增参数、训练时间与目标构建工作量

原 Fig. 2，PDF p. 9；具体数值与口径见 Appendix D、Table 13，PDF p. 23。

口径（对照 MLP Memory）	MLP Memory	DFM	如何理解
新增参数	1.50B	0.75B	减少约 50%
训练时间，16 张 A800	约 64 小时	约 24 小时	减少约 62.5%；不含目标构建、评测
4B-token 语料的检索查询	4B	125M	32 倍：每 32 token 查询一次
每次查询返回邻居	1024	16	与查询数合计得到返回条目数差异
返回邻居槽位总数	4.096T	2B	2048 倍；是工作量计数，非耗时

最后两行来自 $4\mathrm B\times1024$ 对比 $(4\mathrm B/32)\times16$，忽略不完整块与序列开头掩码。两方法的目标类型也不同：MLP Memory 形成 token 分布目标，DFM 形成连续向量目标，因此“返回条目数”并不等同于字节数、FLOPs 或端到端成本。论文未用该图报告实际推理延迟。（Sec. 4.4、Appendix D，PDF p. 9、23）

4.4 消融：位置比简单堆叠层数更关键

图 3：块长、融合层与记忆槽数消融

原 Fig. 3，PDF p. 10；均为 Mistral-7B-v0.3 上的一次实验的六项 QA 平均分。

块长：16、32、64 token 分别为 26.51、27.21、27.07。64-token 配置将构造查询再减半，平均分仅比默认低 0.14；块越细并未单调改善结果。（Sec. 5.1，Fig. 3a，PDF p. 9–10）
融合位置：只在末层融合为 21.11；末四层集中融合为 22.07；默认分布在 $[9,16,24,31]$ 为 27.21；仅用 $[9,31]$ 两层甚至为 27.54。末四层与默认都是四层，支持位置的重要性；两层与四层的比较同时改变位置和层数，不能单独解释层数作用。（Sec. 5.1、Appendix C.1，Fig. 3b，PDF p. 9–10、20–21）
记忆槽数：Top-2、4、8、16 得分为 26.88、27.04、27.09、27.21。Top-8 在五项任务上优于 Top-16，但 Bamboogle 低 3.07 分，使总体平均略低。只看均值会掩盖小测试集对选择 $K$ 的影响。（Sec. 5.1、Appendix C.1，Fig. 3c、Fig. 4，PDF p. 10、20–21）
门控：去掉门控为 26.83；默认初始偏置 $b_g=-2$ 为 27.21，此时初始 $\sigma(-2)\approx0.119$；$b_g=0$ 为 27.90，反而是该扫描中最高。默认配置更保守，并非最高分配置。（Sec. 5.2，Table 3，PDF p. 10–11）
其他部件：共享投影器比逐层投影器高 0.33 分；14 层预测器 27.31、默认 28 层 27.21、56 层 26.47；原始 MSE 比余弦目标高 0.34 分。这些差距较小，均为单次运行，不能从数值排序推出稳定的最优架构。（Appendix C.3–C.5，Tables 10–12，PDF p. 21–22）

五：结论与讨论

DFM 的方法价值在于把检索用于训练时制造连续记忆目标，再学习一个可因果调用的预测器，并把记忆放入解码器中间层让后续计算继续处理。论文在两个主 QA 模型和两个领域适配模型的平均分上展示收益，且不需要 QA 推理时访问语料库；附录 OLMo3 增加了一个平均收益实例。（Sec. 3–6，PDF p. 3–11；Appendix B.1，p. 16）

实际取舍是：新增模块仍有约 0.6B–0.75B 参数，知识在训练后随参数固定；如果语料经常更新，按该设计需要重新适配或另建更新机制。论文测得的是训练阶段耗时以及离线构造的查询／返回条目数，尚未给出端到端构造时间或推理延迟。QA 中记忆在回答阶段固定，不能把这组实验直接解读为动态更新的长程记忆性能。（Sec. 3.3、4.4，Appendices A.1、D，PDF p. 5、9、14–15、23）

阅读各类平均分时应记住：QA 平均混合 F1 与 WebQA 子串命中率；领域平均混合代码、数学、法律指标；消融皆为单次运行，Bamboogle 仅 125 题。论文最稳健的结论是在所报告协议下平均分提升且离线目标构建的检索工作量大幅下降；任务级最优、门控初始化和实际延迟仍需分别判断。（Tables 1–4，PDF p. 7–11、15；Appendix C、D，p. 20–23）