# Memory Mosaics at scale：中文研读笔记

- **作者**：Jianyu Zhang、Léon Bottou
- **论文版本**：[arXiv:2507.03285v3](https://arxiv.org/abs/2507.03285v3)，2026-01-14 修订；NeurIPS 2025
- **研读与获取日期**：2026-10-19
- **原文**：[本地 PDF](../source/paper.pdf) · [作者 TeX 入口](../source/tex/files/neurips_2024.tex)
- **配套汇报**：[英文幻灯片 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)

## 论文总览

这篇论文研究一个具体问题：**能否把适合从上下文样例中学习的联想记忆结构，扩展到真实语料、约百亿参数的语言模型，同时保留常规语言能力？** 作者把 Memory Mosaics 扩展为 Memory Mosaics v2，最大模型为 9.9B 参数、预训练 1T tokens。关键改变是随记忆容量调整检索带宽、用内容相关的门控递推生成 key，以及把短期上下文、长期上下文和持久知识分开处理。

最有说服力的结果来自能力之间的对照：大模型在 19 项常规基准上的平均分同为 52.2，但在 32K 多文档问答上，Memory Mosaics v2 为 53.4，匹配训练数据量的 Transformer 为 41.1；在匿名标签分类中，前者也能更有效地利用提示中的新映射。这说明常规基准接近的两个模型，推理时利用新信息的能力仍可能相差很大。（Sec. 5，PDF pp. 5–8，Tables 1、4，Fig. 4）

本文的“记忆”仍保存历史 key–value 对，长期分支没有把全部历史压缩为固定大小的递归状态。它主要解决学习能力与归纳偏置问题，收益伴随着额外参数和完整记忆检索的成本。

## 结构地图

以下页码均指从 1 开始的 PDF 页码，与论文印刷页码一致。

| 原文章节 | 在论证中的作用 | PDF 页码与主要证据 |
| --- | --- | --- |
| 1 Introduction | 从小规模 Memory Mosaics 推进到真实大规模语言建模 | 1–2 |
| 2 Background on Associative Memory | 用条件期望与核回归解释检索 | 2，Eqs. (1)–(4) |
| 3 Memory Mosaics v2 | 三项结构修改及其设计理由 | 2–4，Eqs. (5)–(10)，Figs. 1–2 |
| 4 Training | 两种规模、训练长度、随机长短期重叠 | 4–5 |
| 5 Three evaluation dimensions | 持久知识、新知识、上下文学习三组实验 | 5–8，Tables 1–4，Figs. 3–5 |
| 6 Risk-return trade-off of frontier-model-sized memory mosaics v2 | 比较架构改变与增加训练数据 | 8–10，Table 5，Figs. 6–7 |
| 7 Fine-tuning speed: who can fine-tune with one minibatch? | 4K 到 32K 的长度适配速度 | 10，Fig. 8 |
| 8 Discussion and future direction | 结论及长上下文计算成本 | 10 |
| A–C 特征提取、长度分布、训练细节 | 结构图、初始化与训练配置 | 13–14，Figs. 9–11，Table 6 |
| D–G 压缩基线、效率、补充检索结果 | 成本、长期记忆消融、公共基线、随机重叠、NIAH | 15–17，Tables 7–13，Fig. 12 |
| H–J 小模型 ICL、提示模板、计算资源 | 补充规模、提示选择协议与硬件 | 18–21，Figs. 13–14 |

## 一：动机——把“已有知识”与“现场学习”分开

### 1.1 为什么常规语言基准不足以回答问题

模型回答一个问题，可能主要依靠训练期间形成的知识，也可能必须先从提示中记住新信息，再学习当前任务的输入—输出关系。这几种能力容易在一个总分中混合。本文将它们拆成三个递进维度：

| 维度 | 要解决的问题 | 主要测试 |
| --- | --- | --- |
| 持久知识存储与检索 | 训练过后，模型掌握了什么？ | 常规语言基准，以及移除长期分支后的对照 |
| 新知识存储与检索 | 先读许多文档，后给问题，还能找到所需信息吗？ | RULER 的两项多文档问答任务 |
| 上下文学习（in-context learning, ICL） | 能根据提示中的新示例，推断当前分类规则吗？ | Banking77、Tacred、Goemotion，分别使用语义与匿名标签 |

“先看到问题再筛选文档”与“先读文档、随后才知道问题”对记忆提出不同要求。本文刻意采用后者：模型必须保留足够丰富的信息，供未知的后续任务调用。匿名标签则进一步削弱从标签字面意义猜答案的捷径。（Sec. 5，PDF pp. 5–7）

### 1.2 核心想法：把历史存成可复用的预测样例

普通注意力通常为当前位置和历史位置分别生成 query、key，再按相似度读 value。Memory Mosaics 强调另一种解释：**key 表示某种过去情境，value 表示这个情境随后发生了什么**。当前情境与过去情境相似，就检索过去的后续内容。

以教学例子 `[A, B, …, A]` 为例，早先的 `A` 对应的 value 已包含后续 `B` 的信息；最后一个 `A` 生成相似的 key，便可直接取回有关 `B` 的信号。这把归纳头（induction head）的“匹配上下文后复制后继”写进了记忆构造。作者据此解释为什么单层联想记忆就能实现这种机制。（Sec. 3，PDF pp. 2–3，Eq. (5)）

## 二：方法——内容寻址的三层记忆

### 2.1 整体数据流

![Memory Mosaics v2 的记忆单元与网络结构](figures/figure-02-complete.png)

原文 Fig. 2，PDF p. 4。左侧是 key–value 记忆单元，右侧是堆叠的网络块。每块先用两组参数独立的短期与长期记忆读出上下文，将各头输出拼接后用 $W_o$ 投影；再经过保存训练知识的持久记忆模块。图中还展示了归一化与残差连接。本文实际使用的持久记忆是 SwiGLU 前馈网络，图中的其他实现选项不是本次实验配置。

为说明维度，下面把单个位置的隐藏表示记为 $x_t\in\mathbb R^D$，某个记忆头的 key、value 记为 $k_t,v_t\in\mathbb R^{d_h}$，用 $D$ 与 $d_h$ 区分模型隐藏维度和记忆头维度。

| 符号 | 含义 |
| --- | --- |
| $\mathcal M_t$ | 当前可读取的历史 key–value 集合 |
| $n$ | 该集合中 key–value 对的数量 |
| $\beta$ | 核检索的锐度；越大，权重越集中 |
| $\bar k_t$ | 归一化前、带递推历史的 key 特征 |
| $g_t,\lambda_t$ | 当前输入写入门、历史保留系数，均为标量 |
| $\gamma,\alpha_\psi$ | value 中当前/下一位置的混合参数、输出幅度 |
| $h,m$ | 短期窗口参数、长期分支的近邻排除延迟 |

### 2.2 联想记忆等价于对条件期望做核回归

给定样本集合 $\mathcal M=\{(k_i,v_i)\}_{i=1}^n$，记忆检索希望估计：

$$
f(k;\mathcal M)\approx\mathbb E[V\mid K=k].
$$

高斯核回归为：

$$
f(k;\mathcal M)=\sum_{i=1}^n a_i(k)v_i,
\qquad
a_i(k)=\frac{\exp[-\beta\|k-k_i\|^2]}{\sum_{j=1}^n\exp[-\beta\|k-k_j\|^2]}.
$$

当 key 经过 $L_2$ 归一化时，展开距离并消去与索引 $i$ 无关的项，得到点积 softmax：

$$
a_i(k)=\frac{\exp(\beta k^\top k_i)}{\sum_j\exp(\beta k^\top k_j)}.
$$

这里沿用原文 Eq. (4) 的记号：从平方距离展开实际得到 $2\beta k^\top k_i$，系数 2 被吸收到重新命名的 $\beta$ 中。检索计算形式接近 attention，区别在于归一化 key、显式带宽、相同的 query/key 特征生成规则，以及没有额外位置编码。（Sec. 2，PDF p. 2，Eqs. (2)–(4)）

检索对**已经生成的** key–value 集合的排列不敏感，不意味着输入词序不重要：词序已经进入递推 key 和后继 value，因果掩码也限制了可读的历史。底层核的对称性同样不意味着整张因果注意力矩阵对称。

### 2.3 修改一：记忆越大，检索核越窄

固定带宽会让不同记忆容量共享同一种平滑程度。本文改为：

$$
\beta(n)=\beta_1 n^\alpha+\beta_0,
\qquad \beta_0\geq0,\ \beta_1>0,\ 0<\alpha<1.
$$

$n$ 越大，$\beta$ 越大，对应核宽度 $1/\sqrt{\beta}$ 越小。其统计直觉是：少量样例时需要更多平滑；样例多时可以更偏向接近当前情境的局部邻居。（Sec. 3.1，PDF p. 3，Eq. (6)）

还可以从干扰项理解这个设计。**教学推导**：假设一个相关 key 的相似度为 $s_\star$，其余 $n-1$ 个 key 的相似度均为 $s_0$，则相关项的权重为

$$
a_\star=\frac{1}{1+(n-1)e^{-\beta\Delta}},\qquad \Delta=s_\star-s_0>0.
$$

若 $\beta$ 不变，增加干扰项会稀释相关项；提高 $\beta$ 可以补偿。这个简化模型只解释方向，论文采用的是可学习幂律，并未证明该形式对任意分布最优。

实现上，Table 6 对 $\beta_0,\beta_1$ 分别使用 $e^{\min(\theta,10)}$ 重参数化，各自初始 $\theta=1.5$；指数采用 $\alpha=\min(|\theta|,1)$，初始 $\theta=1/3$。因此实现允许指数达到 0 或 1，正文的严格区间表述不是实现中的硬性开区间约束。（Appendix C，PDF p. 14）

### 2.4 修改二：让 key 的时间尺度依赖内容

原版采用固定衰减的递推：

$$
\bar k_t=W_\varphi x_t+\lambda\bar k_{t-1},\qquad
k_t=\operatorname{Norm}(\bar k_t).
$$

固定 $\lambda$ 只知道经过了多少步，不能区分有意义的词和插入的无关成分。v2 改为：

$$
\begin{aligned}
\tilde k_t&=W_\varphi x_t,\\
g_t&=e^{W_gx_t},\qquad \lambda_t=e^{-|W_\lambda x_t|},\\
\bar k_t&=g_t\tilde k_t+\lambda_t\bar k_{t-1},\\
k_t&=\operatorname{Norm}(\bar k_t).
\end{aligned}
$$

其中 $W_\varphi\in\mathbb R^{d_h\times D}$，$W_g,W_\lambda\in\mathbb R^{1\times D}$；$g_t>0$，$0<\lambda_t\leq1$。输入门决定当前内容写入多少，历史门决定旧内容保留多少。对零初始状态展开，可得：

$$
\bar k_t=\sum_{s=1}^t g_sW_\varphi x_s\prod_{u=s+1}^t\lambda_u.
$$

这条教学展开式说明：过去词的影响由沿途内容共同决定，而不只由距离决定。例如，模型可以对不重要的插入词少写入、少遗忘，使语义相近但表面长度不同的片段形成更接近的 key。（Sec. 3.2，PDF p. 3，Eqs. (7)–(8)）

**递推只负责构造每一个 key。** 已生成的所有历史 key–value 对仍留在记忆中；因此不能把它当作固定状态的线性注意力或 SSM。

### 2.5 value 向前看一步，读取仍保持因果

value 延续原版的卷积式构造：

$$
\begin{aligned}
\tilde v_t&=W_\psi x_t,\\
\bar v_t&=\gamma\tilde v_t+(1-\gamma)\tilde v_{t+1},\\
v_t&=\alpha_\psi\operatorname{Norm}(\bar v_t).
\end{aligned}
$$

$\gamma$ 控制当前位置与后继位置的混合，$\alpha_\psi$ 控制归一化后的幅度；$\gamma$ 初始化在 $(0,1)$ 内，但论文没有为它规定持续的区间约束，所以不必把这个表达式理解成始终成立的凸组合。（Eq. (9)，PDF p. 3；Table 6，PDF p. 14）

为何这里的 $x_{t+1}$ 不泄漏未来？在位置 $T$ 做预测时，只读取索引 $i<T$ 的 value，因此每个已读取 $v_i$ 最多依赖 $x_{i+1}$，而 $i+1\leq T$。当前 $v_T$ 要等下一输入出现后才完成，不能参与当前位置的检索。训练时的严格历史掩码和推理时的延迟写入是同一约束的两种实现。这是根据 Eqs. (9)–(10) 解释的因果时间线。

### 2.6 修改三：分离短期、长期和持久记忆

按正文显式公式，位置 $t$ 的两个上下文集合是：

$$
\mathcal M_t^{\rm short}=\{(k_i^S,v_i^S):t-h+1\leq i\leq t-1\},
$$

$$
\mathcal M_t^{\rm long}=\{(k_i^L,v_i^L):1\leq i\leq t-m\}.
$$

在序列开头，集合与有效历史索引取交集。短期分支处理近邻局部关系，长期分支排除最近 $m-1$ 个位置，保留较远处的可检索样例。两者的 key、value、带宽参数独立。$m<h$ 时两个集合有重叠，避免把某个固定距离变成硬分界。（Sec. 3.3，PDF p. 4，Eq. (10)）

作者观察到，原版 Memory Mosaics 的平均检索权重在远距离较平坦，而近距离仍明显依赖位置，由此提出两类分支的分工。这里的图是平均权重的现象证据，不代表每个 token、每个 head 的远距离检索都完全不依赖位置。（Fig. 1，PDF p. 4）

训练时固定 $h=256$，随机采样 $m\in[64,256]$；推理时固定 $m=64$。随机改变重叠区，意图让长期分支学习更稳定的内容匹配，短期分支负责局部关系。Table 12 对这一训练策略提供了直接消融结果。

持久记忆则是普通的 SwiGLU 前馈网络：

$$
\operatorname{PM}(x)=W_2\bigl(\operatorname{SiLU}(W_1x)\odot W_3x\bigr).
$$

这里的“长期记忆”是当前上下文中的历史 KV，“持久记忆”是训练形成的参数知识；前者不意味着跨会话的外部数据库。

## 三：实验——比较对象与协议

### 3.1 训练配置与成本口径

| 设置 | small | large |
| --- | --- | --- |
| 规模称谓 | 约 Llama-1.5B 级别 | 约 Llama-8B 级别 |
| 层数 / 隐藏维度 / heads | 24 / 2048 / 16 | 32 / 4096 / 32 |
| 持久记忆中间维度 | 6144 | 14336 |
| 预训练 tokens | 200B | 1T |
| 上下文长度 | 4096，随后适配到 32768 | 4096，随后适配到 32768 |
| 预训练峰值学习率 | $3\times10^{-4}$ | $10^{-3}$ |

主对照是作者训练的 Llama 风格、多头注意力 Transformer。两类模型使用匹配的层数、隐藏维度、训练数据与训练配方。预训练 batch size 为 1024，使用 AdamW（0.9、0.95）、weight decay 0.1、梯度范数裁剪 1，warmup 2000 步，之后余弦退火到峰值学习率的 1/100。使用文档内 attention mask；训练窗口中的较长文档按最大长度截断。实验硬件为 80GB H100。（Sec. 4，PDF pp. 4–5；Appendices B、C、J，PDF pp. 13–14、21）

**匹配骨干配置不等于参数完全相同。** large Transformer 为 8.8B，完整 Memory Mosaics v2 为 9.9B，多约 12.5%。Table 2 在长度 256 下估算每 token FLOPs 分别为 16.7B 与 18.9B，多约 13.2%。这组短长度 FLOPs 不能直接代表 32K 检索或完整训练成本。

### 3.2 三组实验怎样测量

**常规基准。** Table 1 汇报 19 个常用语言基准及其平均分。作者进一步在训练后关闭长期记忆分支，观察哪些任务几乎不受影响，从中选出 13 项作为持久知识能力的代理指标。关闭一个分支的实验能够说明任务对该分支的依赖，但不足以把所有知识精确定位到 MLP 参数。

**多文档问答。** 提示先串联若干真实文章，最后给出与其中一篇文章有关的问题。长度从 4K 增加到 64K，比较训练长度内的效果与未经进一步适配的长度外推。下文均采用论文表中的 QA 得分（%），数值越大越好。

**多类别 ICL。** 三个任务的输出都是类别名称或匿名类别编号，指标为分类准确率。

| 数据集 | 本文类别数 | 单样例平均长度 | 任务 |
| --- | ---: | ---: | --- |
| Banking77 | 77 | 24 tokens | 客户服务意图 |
| Tacred | 41 | 77 tokens | 句中两个实体的关系 |
| Goemotion | 28 | 26 tokens | 评论的情绪类别 |

本文的 **1 shot 是每个类别各一个示例**。例如 Banking77 的 16 shots 是 $77\times16=1232$ 个示例；按单样例平均长度计算，仅示例内容就约 29.6K tokens，完整提示还包含模板与标签。这个设置同时考查新映射学习和大量示例的保留。（Sec. 5.3，PDF p. 7）

语义标签如 `joy`，可调用预训练知识；匿名标签如 `class_00`，要求从当前示例学习名称映射。作者还比较空格/换行分隔以及 shot 内是否打乱示例顺序，为每个 n-shot 配置选取效果最好的提示策略。因此图中展示的是经过提示选择的性能。（PDF p. 7 脚注 13；Appendix I，PDF pp. 19–21）

## 四：结果——沿三种能力逐层判断

### 4.1 持久知识：总体接近，但不能把 19 项都视为纯参数记忆

| 19 项基准平均分 | Transformer | Memory Mosaics v2 |
| --- | ---: | ---: |
| small | 37.8 | 38.0 |
| large | 52.2 | 52.2 |

来源：Table 1，PDF p. 5。平均分相同不意味着每项相同，例如 large 的 GSM8K 为 32.4 对 27.4，而 HumanEval+ 为 38.3 对 43.0。合理结论是总体常规语言能力接近。

长期记忆消融进一步把任务拆开：

| large 的任务分组 | Transformer | 完整 MM v2 | 关闭长期记忆 |
| --- | ---: | ---: | ---: |
| 13 项“持久知识”代理基准平均分 | 57.1 | 56.8 | 56.6 |
| 另外 6 项平均分 | 41.4 | 42.1 | 34.9 |

来源：Table 2，PDF p. 5；Table 9，PDF p. 16。前 13 项只下降 0.2 个百分点；后 6 项下降 7.2 个百分点，其中 BBH 从 47.8 降到 24.6。后 6 项包括 SQuAD、BBH、MATH、MBPP 和两项 RACE，它们需要更多当前上下文支持。

关闭长期分支后，模型参数降为 8.3B，短长度 FLOPs/token 降为 15.6B。这个配置可以说明部分任务几乎不需要长期记忆，但它已经放弃论文最关注的一部分新知识处理能力。

### 4.2 新知识：长文档越难，完整记忆的收益越突出

**4K 预训练模型，尚未做 32K 适配：**

| 模型 | 4K | 8K | 16K | 32K |
| --- | ---: | ---: | ---: | ---: |
| Transformer small | 39.4 | × | × | × |
| MM v2 small | 45.0 | 35.0 | 34.1 | 31.7 |
| Transformer large | 57.7 | × | × | × |
| MM v2 large | 59.3 | 48.8 | 46.4 | 26.5 |

来源：Table 3，PDF p. 6。`×` 保留原表的外推失败标记，不将它转写成精确的 0 分。4K 长度内的增益分别为 5.6 和 1.6 个百分点；正文写作“1.4–5.6%”，其中下界与表内数值不一致，应以表格计算为准。MM v2 可以在 4–8 倍长度上继续工作，但 large 从 4K 的 59.3 降至 32K 的 26.5，说明外推有效并不等于性能不随长度下降。

**做完 32K 长度适配后：**

| 模型 | 4K | 8K | 16K | 32K | 64K |
| --- | ---: | ---: | ---: | ---: | ---: |
| Transformer small | 37.0 | 29.3 | 29.0 | 22.1 | × |
| MM v2 small | 44.3 | 39.3 | 39.4 | 36.9 | 25.3 |
| Transformer large | 51.2 | 48.8 | 44.7 | 41.1 | × |
| MM v2 large | 58.9 | 55.5 | 54.9 | 53.4 | 46.4 |

来源：Table 4，PDF p. 6。32K 上 small 提升 **14.8 个百分点**，large 提升 **12.3 个百分点**。large 的相对增幅是 $12.3/41.1\approx29.9\%$，不能把 12.3 个百分点写成相对提高 12.3%。64K 是相对 32K 适配长度的进一步外推。

这个优势确实依赖长期分支。关闭该分支后，large 在 4K、8K、16K、32K 上分别从 58.9、55.5、54.9、53.4 降到 38.5、22.2、20.0、20.2。32K 损失达到 **33.2 个百分点**。（Table 10，PDF p. 17）

### 4.3 随机重叠有直接消融证据，简单 NIAH 则区分度不足

| small，4K 训练、无长度适配 | 测试 4K | 测试 32K |
| --- | ---: | ---: |
| 不使用随机长期延迟 | 43.6 | 15.9 |
| 使用随机长期延迟 | 45.0 | 31.7 |

来源：Table 12，PDF p. 17。随机训练策略在长度内只增加 1.4 个百分点，在 8 倍外推时增加 15.8 个百分点。这支持“避免固定位置边界有助于外推”的解释，也表明结果不能只归因于去掉 RoPE。

作为对照，RULER S-NIAH 在 32K 上，large Transformer 和 MM v2 分别为 99.6、100.0；small 为 97.8、100.0。简单的单针检索已经接近饱和，难以呈现多文档问答中的差距。（Table 13，PDF p. 17）

Appendix G 还与公共 base 模型比较，MM v2 在 32K 为 53.4，Mistral-base 为 44.7，Mixtral-base 为 41.3。该表混合了引用自既有研究的结果，训练配方不同，且 MM v2 生成长度为 32 tokens，其他模型为 128；它提供额外背景，主要受控证据仍是作者训练的配对基线。（Table 11，PDF p. 17）

### 4.4 ICL：优势在于使用示例，具体收益取决于任务和标签

![大模型在语义标签任务上的上下文学习](figures/icl-semantic-large.png)

原文 Fig. 3，PDF p. 8。三个面板依次为 Banking77、Tacred、Goemotion，横轴是每类示例数，纵轴为准确率（0–1），蓝色是 MM v2，红色是 Transformer。面板纵轴范围不同，不宜只比较线条间的视觉距离。

Banking77 中两种模型都能随示例数增加而提升；Tacred 中 MM v2 随示例增加上升，Transformer 反而下降。Goemotion 的 MM v2 在低 shot 区间低于 Transformer，之后才反超。因而“所有任务、所有 shot 都提升超过 10 个百分点”并不符合图中信息。图中 Tacred 在 7 shots 附近标注的 10.2% 是约 **10.2 个百分点**的纵轴差距。

![大模型在匿名标签任务上的上下文学习](figures/icl-anonymous-large.png)

原文 Fig. 4，PDF p. 8。匿名标签移除了类别名称的语义提示。MM v2 在三组任务曲线上整体领先，其中 Tacred 在 7 shots 附近标注了约 **15.5 个百分点**的差距。Goemotion 的绝对准确率只有约 0.07–0.11，且随 shot 有波动，因此这里的领先应按该任务的低分区间理解，而不能把它写成已经充分解决匿名情绪分类。

这些结果支持一种更具体的结论：MM v2 更善于从当前上下文提取可用于分类的新关系，尤其是不能直接靠标签名称调用已有知识时。更多样例通常有益，但并不是每条曲线都严格单调。small 模型的 Figs. 13–14 呈现相同的总体趋势，Tacred 的标注差距分别为 16.7 和 12.7 个百分点。（Appendix H，PDF p. 18）

### 4.5 仅给 Transformer 拆分长短期 attention 不够

Fig. 5 对 small Transformer 增加长短期注意力分工，在匿名 Tacred 上仍明显落后于 MM v2。它说明“分成两个时间尺度”单独不足以解释全部优势；对称内容寻址、后继 value、门控 key 和自适应带宽的组合值得关注。（PDF p. 8）

不过，本文没有给出三项 v2 修改逐一移除的完整消融矩阵。能够单独归因的证据主要是长期记忆开关、随机延迟训练，以及上述 Transformer 长短期拆分对照；各模块的独立收益与交互作用仍需进一步实验。

### 4.6 增加 8 倍训练数据：部分任务追平，匿名映射仍落后

| large 模型 | 训练 tokens | 32K 多文档 QA 得分 |
| --- | ---: | ---: |
| Transformer | 200B | 33.8 |
| Transformer | 1T | 41.1 |
| Transformer* | 8T | 46.9 |
| MM v2 | 1T | 53.4 |

来源：Table 5，PDF p. 9。8T Transformer 比 1T Transformer 增加 5.8 个百分点，仍比 1T MM v2 低 6.5 个百分点。带星号的 8T 模型还改用了 grouped-query attention，并将预训练上下文提高到 8K，所以这不是只改变数据量的严格单变量实验。

![增加训练数据后的语义标签分类](figures/data-scaling-semantic.png)

原文 Fig. 6，PDF p. 9。蓝线为 1T MM v2；红色点线、实线、虚线分别为 200B、1T、8T Transformer。8T 模型在语义标签任务上能达到相近水平，Goemotion 上甚至领先。更多训练数据对可以调用已有语义的任务确实有效。

![增加训练数据后的匿名标签分类](figures/data-scaling-anonymous.png)

原文 Fig. 7，PDF p. 10，图例含义同上。匿名标签下，8T Transformer 仍显著落后，在展示的任务上还低于 1T Transformer。这使“训练得更多就能获得更好的现场学习能力”成为值得质疑的假设。由于架构与训练长度也同时改变，图中现象不能唯一归因为预训练 token 数增加。

### 4.7 一步微调：这里测的是长度适配的数据效率

![4K 到 32K 长度适配所需的优化步数](figures/finetuning.png)

原文 Fig. 8，PDF p. 10。横轴是微调 mini-batch 数，也就是优化步数；纵轴是在 32K 多文档问答上的准确率百分数。MM v2 用一个 mini-batch 提升约 **22 个百分点**，从约 26.5 到约 48.5；两步已接近后续平台。Transformer 用 800 步仍低于 MM v2 的一步结果。

这说明已经能做长度外推的 MM v2，适配到更长上下文的优化距离较短。这里的“一步”指一个 batch 上的一次参数更新，不是一个训练样例，也不是推理时完全不更新权重的 ICL。该实验专门测量 4K 到 32K 的长度适配，不能直接推广成任意新领域都只需一步微调。论文未单独展开这张图的完整微调 batch 和优化超参数，精确复现这一速度需要补充训练配方。

### 4.8 参数效率证据与部署效率要分开理解

Appendix E 的 Fig. 12 画出 RULER QA 与 Tacred 的性能—参数量、性能—FLOPs 曲线，MM v2 的曲线位于 Transformer 上方，作者据此说明收益不限于 9.9B 对 8.8B 的参数差异。（PDF p. 16）

图中是连接有限规模结果的曲线，没有详细展开每个中间预算下独立训练的配对配置；FLOPs 横轴的具体计数口径也不如 Table 2 明确。因此它是性能—预算取舍的辅助证据，不能替代吞吐、延迟或显存测量。

从计算结构推断，固定 head 维度时，长期 KV 存储随长度 $L$ 线性增长；精确读出在单次解码时需扫描历史，整段计算仍包含二次规模的长程交互。门控递推生成 key 并未消除这一成本。作者在结尾提出模糊哈希和分层记忆作为未来方向，而不是声称本文已经实现了低复杂度长上下文服务。（Sec. 3.2 脚注 6，PDF p. 3；Sec. 8，PDF p. 10）

## 五：结论——这篇论文改变了哪些判断

**第一，常规能力相近不代表推理时学习能力相近。** 19 项基准平均分相同，而长文档 QA 和匿名标签 ICL 明显分化。对于希望模型现场学习新规则的应用，额外评测“存入新信息”和“使用新映射”很有必要。

**第二，记忆的组织方式是一个可扩展的架构选择。** 用过去情境生成 key、用近未来生成 value，再配合内容门控、容量相关带宽和长短期分工，使核回归式检索成为大规模语言模型的一部分。论文将这一思路从小型合成任务推进到了 9.9B 参数和 1T 真实语料训练。

**第三，最强证据是受控任务上的能力差异，而非对所有 Transformer 或记忆压缩架构的普遍判断。** Appendix D 引用的 RWKV、Mamba 结果确实表现出长上下文检索困难，但这些来自特定既有模型与评测，未构成对所有压缩记忆方案的不可行性证明。数据量实验同样表明部分语义任务可以被更多训练追平。

最值得继续追问的两件事是：在严格匹配参数和训练预算下，后继 value、门控 key、带宽调度分别贡献多少；以及在保留匿名 ICL 与多文档 QA 收益的同时，能否减少长期 KV 的存储和搜索成本。这两点分别决定机制解释的清晰程度和长上下文应用的实际价值。