# Deep Fusion Memory：逐块预测并在中间层融合的参数化记忆

**原题**：Deep Fusion Memory: A Chunk-Level Parametric Memory for Large Language Models  
**作者**：Rubin Wei、Siyuan Sun、Hao Sun、Yuliang Liu、Xiang Shi、Jiarui Wang、Junming Zhang、Zhouhan Lin  
**版本**：[arXiv:2610.25100v1](https://arxiv.org/abs/2610.25100v1)，2026-10-18 提交；本次研读于 2026-10-26 完成。[原文 PDF](../source/paper.pdf)  
**发表**：截至 2026-10-26 [未查到正式发表信息](https://arxiv.org/abs/2610.25100v1)。  
**代码**：[论文首页](https://arxiv.org/pdf/2610.25100v1)称将于近期发布；截至 2026-10-26 未查到可核实的官方实现。

## 论文总览

**核心问题**：把外部语料的知识装入模型，同时避免逐 token 构造检索监督的高成本，并让记忆参与解码器内部计算。已有 MLP Memory 一类参数化记忆虽可免去推理时检索，却需要对每个 token 位置检索邻居，且主要在最终输出分布上插值。Deep Fusion Memory（DFM）改为每 32 个 token 产生一组记忆目标；因果预测器从已见上下文预测这些向量，门控交叉注意力把预测记忆送进冻结语言模型的若干中间层。训练需要离线检索，论文报告的问答推理无需在线检索。（Sec. 1–3，PDF p. 1–5，Fig. 1）

**主要发现**：六项问答任务的平均分在 Mistral-7B-v0.3 上达到 27.21，较最强对照 xRAG 的 24.14 高 **3.07 分／相对 12.71%**；在 Qwen3-8B-Base 上达到 26.46，较 MLP Memory 的 23.80 高 **2.66 分／论文报告相对 11.19%**。领域适配的四项指标平均分在 Qwen3-4B-Base、Qwen3-8B-Base 上分别比 Base 高 **6.51、4.38 分**。这些是不同任务分数的算术平均，不是准确率统一提高的百分比。（Sec. 4.2–4.3，PDF p. 6–8，Tables 1–2）

## 结构地图

| 原文章节 | 作用 | PDF 定位 |
| --- | --- | --- |
| 1 Introduction；2 Related Work | 问题及与检索、继续预训练、参数化记忆的关系 | p. 1–3 |
| 3 Deep Fusion Memory | 离线目标、因果预测、深层融合、训练与推理 | p. 3–5；Fig. 1、Eqs. (1)–(4) |
| 4 Experiments | 六项 QA、三领域适配、效率比较 | p. 5–9；Tables 1–2、Fig. 2 |
| 5 Ablations and Analysis；6 Conclusion | 块大小、融合位置、槽数、门控及结论 | p. 9–11；Fig. 3、Table 3 |
| Appendices A–E | 数据与指标、OLMo3／LawBench、其他消融、成本口径、案例 | p. 14–25；Tables 4–13、Figs. 4–6 |

## 一：动机——降低监督成本，让记忆进入隐藏状态

继续预训练（CPT）与 LoRA 可把新语料吸收到参数里，但会改动原模型或附加适配器，并可能损害原有能力。检索增强生成（RAG）可在回答时访问语料，却依赖在线搜索及证据处理。MLP Memory 等方案提前学习检索得到的下一个 token 分布，因此推理时不检索；代价是对大量 token 位置分别搜索邻居，并且只在输出概率上同主模型混合。DFM 将监督粒度改为**块**，将使用记忆的位置移到解码器的**隐藏层**。（Sec. 1–2，PDF p. 1–3）

这里有两个不同的节省来源：同一组目标供一个块内多个 token 使用，减少检索**查询数**；DFM 每次保留 Top-16 个邻居向量，而效率对照 MLP Memory 使用 Top-1024，又减少每次查询的**返回条目数**。它们不能合并解释为模型每步推理快 2048 倍。（Sec. 4.4、Appendix D，PDF p. 9、23）

## 二：方法——离线检索当教师，因果预测器在推理时接班

![图 1：DFM 的记忆预测、解码器与门控融合](figures/fig-01-architecture.png)

原 Fig. 1，PDF p. 4。左侧是离线检索目标和在线可运行的记忆预测器，中部标出插入记忆的解码层，右侧展开一层内与自注意力并行的门控交叉注意力。

### 2.1 构造块级目标

将训练序列切成长度为 $C$ 的不重叠块 $X_0,\ldots,X_{J-1}$。对 $j\ge1$，用**前一块** $X_{j-1}$ 作检索查询，从训练语料的块索引中取 Top-$K$ 邻居，编码为按检索排名排列的目标矩阵 $V_j\in\mathbb R^{K\times d_m}$。默认 $C=32$、$K=16$、$d_m=1024$；目标编码器为冻结的 Qwen3-Embedding-0.6B，向量作 $L_2$ 归一化，索引用 FAISS IVF-PQ。第一块没有前一块，因此不接受记忆监督。顺序使第 $j$ 块的目标仅依赖已出现内容。（Sec. 3.1、Appendix A.1，PDF p. 3–4、14）

### 2.2 预测记忆

冻结主模型的词嵌入 $e_i=E_\theta(x_i)$，对上一块的嵌入取均值，经必要的线性投影得到块表示 $C_j$。一个因果 Transformer 读取这些块表示的前缀，并用 $K$ 个独立输出头产生对应排名位置的向量：

$$
\widehat V_j=\operatorname{Predictor}_\phi(C_{\le j})\in\mathbb R^{K\times d_m}.
$$

$C_j$ 汇总 $X_{j-1}$，所以 $\widehat V_j$ 最多利用 $X_0,\ldots,X_{j-1}$；$C_0$ 是被掩码的占位符。默认预测器有 28 层、1024 隐藏宽度、16 个查询头和 8 个 KV 头。预测器的任务不是复述检索文本，而是学习可供融合层使用的连续向量。（Sec. 3.2，Eq. (1)，PDF p. 4；Appendix A.1，p. 14）

**教学例子**：若前一块出现一个地名，离线检索可以给下一块提供与该地名有关的若干邻居向量；训练后的预测器要从此前文本预测类似的向量。模型在生成时只持有自己的预测向量，并不会重新读取那些原文段落。

### 2.3 投影、注意力与门控

共享投影器把 $\widehat V_j$ 逐槽映射到主模型隐藏宽度：$M_j=P_\psi(\widehat V_j)\in\mathbb R^{K\times d}$。在选定的解码层中，当前 token 归一化状态 $z_t=\operatorname{Norm}(h_t)$ 作为查询，$M_j$ 作键和值；每个注意力头在 $K$ 个槽上归一化。逐 token、逐头门控计算为

$$
g_t=\sigma(W_g z_t+b_g),\qquad
u_t=W_O\operatorname{Concat}_{a=1}^{H}(g_{t,a}o_{t,a}),
$$

$$
\widetilde h_t=h_t+\operatorname{SelfAttn}(z_{\le t})+u_t.
$$

$o_{t,a}$ 是第 $a$ 个交叉注意力头从共享记忆读出的结果，$g_{t,a}$ 控制该头本次注入强度。随后原解码器的 FFN 继续加工融合后的状态。预测器和投影器跨融合层共享，交叉注意力与门控参数按层区分；默认融合层的零基编号为 $[9,16,24,31]$。对位置 $t$ 预测 $x_{t+1}$ 时用 $j=\lfloor(t+1)/C\rfloor$ 指定目标块，块边界之前已经观测到完整上一块。（Sec. 3.2，Eqs. (2)–(3)，PDF p. 4–5）

### 2.4 联合训练与推理

$$
\mathcal L=\mathcal L_{\mathrm{LM}}+\beta\mathcal L_{\mathrm{MSE}},\qquad
\mathcal L_{\mathrm{MSE}}=
\frac{\sum_{j=1}^{J-1}\lVert\widehat V_j-V_j\rVert_F^2}{(J-1)Kd_m},\quad \beta=1.
$$

语言模型损失始终通过**预测**记忆反传给融合层和预测器；检索向量 $V_j$ 只作 MSE 教师，不直接喂给主模型。主模型、检索编码器冻结，训练的部件包括预测器、查询投影、共享记忆投影器、交叉注意力和门控。推理时无需目标向量、检索索引或外部编码器，但仍执行新增模块的计算。（Sec. 3.2–3.3，Eq. (4)，PDF p. 5）

问答评测的具体实现比一般的逐块叙述更窄：它从**可见的当前问题提示块**形成查询，一次算出记忆并在答案生成期间保持固定；新生成的答案块不刷新查询，也不接收直接记忆更新。这与训练时使用前一块作为查询的描述不同。论文的 QA 分数因而检验的是固定提示记忆辅助回答，而不是持续更新记忆的长文本生成。（Appendix A.1，PDF p. 14–15）

## 三：实验——比较对象、数据和指标

QA 用 2018 年 12 月英文 Wikipedia 的约 4B token 训练；附录按分词器给出 Mistral 4.70B、Qwen3 4.29B、OLMo3 4.08B。语料按文章题名划分，检索库仅含训练块。主模型为 Mistral-7B-v0.3 和 Qwen3-8B-Base。DFM 新增约 0.75B 参数，训练一轮，主要配置是 2048-token 序列、全局批量 128、16 张 A800 80GB。对照包括在线检索的 RAG、xRAG、RETRO，以及 CPT、LoRA、MLP Memory；LoRA 的新增参数量与 DFM 匹配。（Sec. 4.1、Appendix A.1，PDF p. 6、14）

六项 QA 中，NQ、WebQA 是单跳，HotpotQA、2Wiki、MuSiQue、Bamboogle 是多跳。除 WebQA 使用**子串命中率**外，其余使用归一化答案的 **F1**；各项均在 0–100 分尺度，Avg. 是六项**等权平均**。DFM 采用零样本贪心解码，无在线检索、标准答案文档或思维链示例。Bamboogle 测试集只有 125 题，读其消融波动时须留意样本量。（Appendix A.1，Table 4，PDF p. 14–15）

领域适配分别训练 Code、Math、Law 三个模型：前两者各 100M 训练 token，法律 123.5M；在 Qwen3-4B-Base 与 Qwen3-8B-Base 上评测。HumanEval/HumanEval+ 使用执行正确性估算 pass@1，GSM8K 是数学题得分，LawBench 是 20 个法律子任务的等权宏平均；领域总 Avg. 再等权平均这四个指标。与 QA 不同，HumanEval 有 3 个示例且每题取 4 个样本，GSM8K 有 8 个示例，LawBench 是零样本。（Sec. 4.1、Appendix A.2，PDF p. 6、15）

## 四：结果——平均收益明确，任务间并不一致

### 4.1 六项 QA

| 主模型 | Base Avg. | 最强对照 Avg. | DFM Avg. | 相对最强对照 |
| --- | ---: | ---: | ---: | ---: |
| Mistral-7B-v0.3 | 13.63 | xRAG 24.14 | **27.21** | +3.07 分；+12.71% 相对值 |
| Qwen3-8B-Base | 22.71 | MLP Memory 23.80 | **26.46** | +2.66 分；论文报 +11.19% 相对值 |

原 Table 1，PDF p. 7。DFM 在 Mistral 的六项上都超过 Base，但 2Wiki 的 25.00 低于 RAG 的 31.02。在 Qwen3 上，DFM 的 WebQA 从 Base 41.78 降到 39.47，低于 MLP Memory 的 43.26；HotpotQA 26.46 也低于 xRAG 27.74。相反，Qwen3 的 2Wiki 从 Base 24.83 升至 32.38，Mistral 的 Bamboogle 从 3.91 升至 22.65。证据支持“平均分更高”，而非“所有任务均领先”。（Sec. 4.2，PDF p. 6–7）

附录在 OLMo-3-1025-7B 上给出同样六项协议：DFM 25.49，Base 17.99，最强对照 RETRO 23.63；其中 WebQA 和 HotpotQA 反而低于 Base。这个第三主模型扩展了平均收益的观察范围，也再次显示任务差异。（Appendix B.1，Table 5，PDF p. 16）

### 4.2 代码、数学与法律

| 主模型 | Base Avg. | CPT Avg. | LoRA Avg. | DFM Avg. | DFM − Base |
| --- | ---: | ---: | ---: | ---: | ---: |
| Qwen3-4B-Base | 58.18 | 62.92 | 60.70 | **64.69** | +6.51 分 |
| Qwen3-8B-Base | 63.14 | 65.06 | 66.96 | **67.52** | +4.38 分 |

原 Table 2，PDF p. 8。4B 上 DFM 在 HumanEval、HumanEval+、GSM8K 领先，但 LawBench 40.41 低于 CPT 41.66；8B 上 DFM 的 HumanEval 73.02 和 LawBench 46.61 领先，HumanEval+ 64.02、GSM8K 86.43 则低于 LoRA 的 65.85、87.19。法律宏平均的提升不是 20 个子任务全部改善：附录 Tables 7–8 显示明显差异。（Sec. 4.3、Appendix B.2，PDF p. 8、18–19）

### 4.3 成本比较

![图 2：新增参数、训练时间与目标构建工作量](figures/fig-02-efficiency.png)

原 Fig. 2，PDF p. 9；具体数值与口径见 Appendix D、Table 13，PDF p. 23。

| 口径（对照 MLP Memory） | MLP Memory | DFM | 如何理解 |
| --- | ---: | ---: | --- |
| 新增参数 | 1.50B | 0.75B | 减少约 50% |
| 训练时间，16 张 A800 | 约 64 小时 | 约 24 小时 | 减少约 62.5%；**不含**目标构建、评测 |
| 4B-token 语料的检索查询 | 4B | 125M | 32 倍：每 32 token 查询一次 |
| 每次查询返回邻居 | 1024 | 16 | 与查询数合计得到返回条目数差异 |
| 返回邻居槽位总数 | 4.096T | 2B | 2048 倍；是**工作量计数**，非耗时 |

最后两行来自 $4\mathrm B\times1024$ 对比 $(4\mathrm B/32)\times16$，忽略不完整块与序列开头掩码。两方法的目标类型也不同：MLP Memory 形成 token 分布目标，DFM 形成连续向量目标，因此“返回条目数”并不等同于字节数、FLOPs 或端到端成本。论文未用该图报告实际推理延迟。（Sec. 4.4、Appendix D，PDF p. 9、23）

### 4.4 消融：位置比简单堆叠层数更关键

![图 3：块长、融合层与记忆槽数消融](figures/fig-03-ablations.png)

原 Fig. 3，PDF p. 10；均为 Mistral-7B-v0.3 上的一次实验的六项 QA 平均分。

- **块长**：16、32、64 token 分别为 26.51、27.21、27.07。64-token 配置将构造查询再减半，平均分仅比默认低 0.14；块越细并未单调改善结果。（Sec. 5.1，Fig. 3a，PDF p. 9–10）
- **融合位置**：只在末层融合为 21.11；末四层集中融合为 22.07；默认分布在 $[9,16,24,31]$ 为 27.21；仅用 $[9,31]$ 两层甚至为 27.54。末四层与默认都是四层，支持位置的重要性；两层与四层的比较同时改变位置和层数，不能单独解释层数作用。（Sec. 5.1、Appendix C.1，Fig. 3b，PDF p. 9–10、20–21）
- **记忆槽数**：Top-2、4、8、16 得分为 26.88、27.04、27.09、27.21。Top-8 在五项任务上优于 Top-16，但 Bamboogle 低 3.07 分，使总体平均略低。只看均值会掩盖小测试集对选择 $K$ 的影响。（Sec. 5.1、Appendix C.1，Fig. 3c、Fig. 4，PDF p. 10、20–21）
- **门控**：去掉门控为 26.83；默认初始偏置 $b_g=-2$ 为 27.21，此时初始 $\sigma(-2)\approx0.119$；$b_g=0$ 为 **27.90**，反而是该扫描中最高。默认配置更保守，并非最高分配置。（Sec. 5.2，Table 3，PDF p. 10–11）
- **其他部件**：共享投影器比逐层投影器高 0.33 分；14 层预测器 27.31、默认 28 层 27.21、56 层 26.47；原始 MSE 比余弦目标高 0.34 分。这些差距较小，均为单次运行，不能从数值排序推出稳定的最优架构。（Appendix C.3–C.5，Tables 10–12，PDF p. 21–22）

## 五：结论与讨论

DFM 的方法价值在于把检索用于**训练时制造连续记忆目标**，再学习一个可因果调用的预测器，并把记忆放入解码器中间层让后续计算继续处理。论文在两个主 QA 模型和两个领域适配模型的平均分上展示收益，且不需要 QA 推理时访问语料库；附录 OLMo3 增加了一个平均收益实例。（Sec. 3–6，PDF p. 3–11；Appendix B.1，p. 16）

实际取舍是：新增模块仍有约 0.6B–0.75B 参数，知识在训练后随参数固定；如果语料经常更新，按该设计需要重新适配或另建更新机制。论文测得的是训练阶段耗时以及离线构造的查询／返回条目数，尚未给出端到端构造时间或推理延迟。QA 中记忆在回答阶段固定，不能把这组实验直接解读为动态更新的长程记忆性能。（Sec. 3.3、4.4，Appendices A.1、D，PDF p. 5、9、14–15、23）

阅读各类平均分时应记住：QA 平均混合 F1 与 WebQA 子串命中率；领域平均混合代码、数学、法律指标；消融皆为单次运行，Bamboogle 仅 125 题。论文最稳健的结论是**在所报告协议下平均分提升且离线目标构建的检索工作量大幅下降**；任务级最优、门控初始化和实际延迟仍需分别判断。（Tables 1–4，PDF p. 7–11、15；Appendix C、D，p. 20–23）