版本与下载

Memory Mosaics at scale：中文研读笔记

作者：Jianyu Zhang、Léon Bottou
论文版本：arXiv:2507.03285v3，2026-01-14 修订；NeurIPS 2025
研读与获取日期：2026-10-19
原文：本地 PDF · 作者 TeX 入口
配套汇报：英文幻灯片 PDF · 可编辑 TeX

论文总览

这篇论文研究一个具体问题：能否把适合从上下文样例中学习的联想记忆结构，扩展到真实语料、约百亿参数的语言模型，同时保留常规语言能力？ 作者把 Memory Mosaics 扩展为 Memory Mosaics v2，最大模型为 9.9B 参数、预训练 1T tokens。关键改变是随记忆容量调整检索带宽、用内容相关的门控递推生成 key，以及把短期上下文、长期上下文和持久知识分开处理。

最有说服力的结果来自能力之间的对照：大模型在 19 项常规基准上的平均分同为 52.2，但在 32K 多文档问答上，Memory Mosaics v2 为 53.4，匹配训练数据量的 Transformer 为 41.1；在匿名标签分类中，前者也能更有效地利用提示中的新映射。这说明常规基准接近的两个模型，推理时利用新信息的能力仍可能相差很大。（Sec. 5，PDF pp. 5–8，Tables 1、4，Fig. 4）

本文的“记忆”仍保存历史 key–value 对，长期分支没有把全部历史压缩为固定大小的递归状态。它主要解决学习能力与归纳偏置问题，收益伴随着额外参数和完整记忆检索的成本。

结构地图

以下页码均指从 1 开始的 PDF 页码，与论文印刷页码一致。

原文章节	在论证中的作用	PDF 页码与主要证据
1 Introduction	从小规模 Memory Mosaics 推进到真实大规模语言建模	1–2
2 Background on Associative Memory	用条件期望与核回归解释检索	2，Eqs. (1)–(4)
3 Memory Mosaics v2	三项结构修改及其设计理由	2–4，Eqs. (5)–(10)，Figs. 1–2
4 Training	两种规模、训练长度、随机长短期重叠	4–5
5 Three evaluation dimensions	持久知识、新知识、上下文学习三组实验	5–8，Tables 1–4，Figs. 3–5
6 Risk-return trade-off of frontier-model-sized memory mosaics v2	比较架构改变与增加训练数据	8–10，Table 5，Figs. 6–7
7 Fine-tuning speed: who can fine-tune with one minibatch?	4K 到 32K 的长度适配速度	10，Fig. 8
8 Discussion and future direction	结论及长上下文计算成本	10
A–C 特征提取、长度分布、训练细节	结构图、初始化与训练配置	13–14，Figs. 9–11，Table 6
D–G 压缩基线、效率、补充检索结果	成本、长期记忆消融、公共基线、随机重叠、NIAH	15–17，Tables 7–13，Fig. 12
H–J 小模型 ICL、提示模板、计算资源	补充规模、提示选择协议与硬件	18–21，Figs. 13–14

一：动机——把“已有知识”与“现场学习”分开

1.1 为什么常规语言基准不足以回答问题

模型回答一个问题，可能主要依靠训练期间形成的知识，也可能必须先从提示中记住新信息，再学习当前任务的输入—输出关系。这几种能力容易在一个总分中混合。本文将它们拆成三个递进维度：

维度	要解决的问题	主要测试
持久知识存储与检索	训练过后，模型掌握了什么？	常规语言基准，以及移除长期分支后的对照
新知识存储与检索	先读许多文档，后给问题，还能找到所需信息吗？	RULER 的两项多文档问答任务
上下文学习（in-context learning, ICL）	能根据提示中的新示例，推断当前分类规则吗？	Banking77、Tacred、Goemotion，分别使用语义与匿名标签

“先看到问题再筛选文档”与“先读文档、随后才知道问题”对记忆提出不同要求。本文刻意采用后者：模型必须保留足够丰富的信息，供未知的后续任务调用。匿名标签则进一步削弱从标签字面意义猜答案的捷径。（Sec. 5，PDF pp. 5–7）

1.2 核心想法：把历史存成可复用的预测样例

普通注意力通常为当前位置和历史位置分别生成 query、key，再按相似度读 value。Memory Mosaics 强调另一种解释：key 表示某种过去情境，value 表示这个情境随后发生了什么。当前情境与过去情境相似，就检索过去的后续内容。

以教学例子 [A, B, …, A] 为例，早先的 A 对应的 value 已包含后续 B 的信息；最后一个 A 生成相似的 key，便可直接取回有关 B 的信号。这把归纳头（induction head）的“匹配上下文后复制后继”写进了记忆构造。作者据此解释为什么单层联想记忆就能实现这种机制。（Sec. 3，PDF pp. 2–3，Eq. (5)）

二：方法——内容寻址的三层记忆

2.1 整体数据流

Memory Mosaics v2 的记忆单元与网络结构

原文 Fig. 2，PDF p. 4。左侧是 key–value 记忆单元，右侧是堆叠的网络块。每块先用两组参数独立的短期与长期记忆读出上下文，将各头输出拼接后用 $W_o$ 投影；再经过保存训练知识的持久记忆模块。图中还展示了归一化与残差连接。本文实际使用的持久记忆是 SwiGLU 前馈网络，图中的其他实现选项不是本次实验配置。

为说明维度，下面把单个位置的隐藏表示记为 $x_t\in\mathbb R^D$，某个记忆头的 key、value 记为 $k_t,v_t\in\mathbb R^{d_h}$，用 $D$ 与 $d_h$ 区分模型隐藏维度和记忆头维度。

符号	含义
$\mathcal M_t$	当前可读取的历史 key–value 集合
$n$	该集合中 key–value 对的数量
$\beta$	核检索的锐度；越大，权重越集中
$\bar k_t$	归一化前、带递推历史的 key 特征
$g_t,\lambda_t$	当前输入写入门、历史保留系数，均为标量
$\gamma,\alpha_\psi$	value 中当前/下一位置的混合参数、输出幅度
$h,m$	短期窗口参数、长期分支的近邻排除延迟

2.2 联想记忆等价于对条件期望做核回归

给定样本集合 $\mathcal M=\{(k_i,v_i)\}_{i=1}^n$，记忆检索希望估计：

$$ f(k;\mathcal M)\approx\mathbb E[V\mid K=k]. $$

高斯核回归为：

$$ f(k;\mathcal M)=\sum_{i=1}^n a_i(k)v_i, \qquad a_i(k)=\frac{\exp[-\beta\|k-k_i\|^2]}{\sum_{j=1}^n\exp[-\beta\|k-k_j\|^2]}. $$

当 key 经过 $L_2$ 归一化时，展开距离并消去与索引 $i$ 无关的项，得到点积 softmax：

$$ a_i(k)=\frac{\exp(\beta k^\top k_i)}{\sum_j\exp(\beta k^\top k_j)}. $$

这里沿用原文 Eq. (4) 的记号：从平方距离展开实际得到 $2\beta k^\top k_i$，系数 2 被吸收到重新命名的 $\beta$ 中。检索计算形式接近 attention，区别在于归一化 key、显式带宽、相同的 query/key 特征生成规则，以及没有额外位置编码。（Sec. 2，PDF p. 2，Eqs. (2)–(4)）

检索对已经生成的 key–value 集合的排列不敏感，不意味着输入词序不重要：词序已经进入递推 key 和后继 value，因果掩码也限制了可读的历史。底层核的对称性同样不意味着整张因果注意力矩阵对称。

2.3 修改一：记忆越大，检索核越窄

固定带宽会让不同记忆容量共享同一种平滑程度。本文改为：

$$ \beta(n)=\beta_1 n^\alpha+\beta_0, \qquad \beta_0\geq0,\ \beta_1>0,\ 0<\alpha<1. $$

$n$ 越大，$\beta$ 越大，对应核宽度 $1/\sqrt{\beta}$ 越小。其统计直觉是：少量样例时需要更多平滑；样例多时可以更偏向接近当前情境的局部邻居。（Sec. 3.1，PDF p. 3，Eq. (6)）

还可以从干扰项理解这个设计。教学推导：假设一个相关 key 的相似度为 $s_\star$，其余 $n-1$ 个 key 的相似度均为 $s_0$，则相关项的权重为

$$ a_\star=\frac{1}{1+(n-1)e^{-\beta\Delta}},\qquad \Delta=s_\star-s_0>0. $$

若 $\beta$ 不变，增加干扰项会稀释相关项；提高 $\beta$ 可以补偿。这个简化模型只解释方向，论文采用的是可学习幂律，并未证明该形式对任意分布最优。

实现上，Table 6 对 $\beta_0,\beta_1$ 分别使用 $e^{\min(\theta,10)}$ 重参数化，各自初始 $\theta=1.5$；指数采用 $\alpha=\min(|\theta|,1)$，初始 $\theta=1/3$。因此实现允许指数达到 0 或 1，正文的严格区间表述不是实现中的硬性开区间约束。（Appendix C，PDF p. 14）

2.4 修改二：让 key 的时间尺度依赖内容

原版采用固定衰减的递推：

$$ \bar k_t=W_\varphi x_t+\lambda\bar k_{t-1},\qquad k_t=\operatorname{Norm}(\bar k_t). $$

固定 $\lambda$ 只知道经过了多少步，不能区分有意义的词和插入的无关成分。v2 改为：

$$ \begin{aligned} \tilde k_t&=W_\varphi x_t,\\ g_t&=e^{W_gx_t},\qquad \lambda_t=e^{-|W_\lambda x_t|},\\ \bar k_t&=g_t\tilde k_t+\lambda_t\bar k_{t-1},\\ k_t&=\operatorname{Norm}(\bar k_t). \end{aligned} $$

其中 $W_\varphi\in\mathbb R^{d_h\times D}$，$W_g,W_\lambda\in\mathbb R^{1\times D}$；$g_t>0$，$0<\lambda_t\leq1$。输入门决定当前内容写入多少，历史门决定旧内容保留多少。对零初始状态展开，可得：

$$ \bar k_t=\sum_{s=1}^t g_sW_\varphi x_s\prod_{u=s+1}^t\lambda_u. $$

这条教学展开式说明：过去词的影响由沿途内容共同决定，而不只由距离决定。例如，模型可以对不重要的插入词少写入、少遗忘，使语义相近但表面长度不同的片段形成更接近的 key。（Sec. 3.2，PDF p. 3，Eqs. (7)–(8)）

递推只负责构造每一个 key。 已生成的所有历史 key–value 对仍留在记忆中；因此不能把它当作固定状态的线性注意力或 SSM。

2.5 value 向前看一步，读取仍保持因果

value 延续原版的卷积式构造：

$$ \begin{aligned} \tilde v_t&=W_\psi x_t,\\ \bar v_t&=\gamma\tilde v_t+(1-\gamma)\tilde v_{t+1},\\ v_t&=\alpha_\psi\operatorname{Norm}(\bar v_t). \end{aligned} $$

$\gamma$ 控制当前位置与后继位置的混合，$\alpha_\psi$ 控制归一化后的幅度；$\gamma$ 初始化在 $(0,1)$ 内，但论文没有为它规定持续的区间约束，所以不必把这个表达式理解成始终成立的凸组合。（Eq. (9)，PDF p. 3；Table 6，PDF p. 14）

为何这里的 $x_{t+1}$ 不泄漏未来？在位置 $T$ 做预测时，只读取索引 $i

2.6 修改三：分离短期、长期和持久记忆

按正文显式公式，位置 $t$ 的两个上下文集合是：

$$ \mathcal M_t^{\rm short}=\{(k_i^S,v_i^S):t-h+1\leq i\leq t-1\}, $$

$$ \mathcal M_t^{\rm long}=\{(k_i^L,v_i^L):1\leq i\leq t-m\}. $$

在序列开头，集合与有效历史索引取交集。短期分支处理近邻局部关系，长期分支排除最近 $m-1$ 个位置，保留较远处的可检索样例。两者的 key、value、带宽参数独立。$m

作者观察到，原版 Memory Mosaics 的平均检索权重在远距离较平坦，而近距离仍明显依赖位置，由此提出两类分支的分工。这里的图是平均权重的现象证据，不代表每个 token、每个 head 的远距离检索都完全不依赖位置。（Fig. 1，PDF p. 4）

训练时固定 $h=256$，随机采样 $m\in[64,256]$；推理时固定 $m=64$。随机改变重叠区，意图让长期分支学习更稳定的内容匹配，短期分支负责局部关系。Table 12 对这一训练策略提供了直接消融结果。

持久记忆则是普通的 SwiGLU 前馈网络：

$$ \operatorname{PM}(x)=W_2\bigl(\operatorname{SiLU}(W_1x)\odot W_3x\bigr). $$

这里的“长期记忆”是当前上下文中的历史 KV，“持久记忆”是训练形成的参数知识；前者不意味着跨会话的外部数据库。

三：实验——比较对象与协议

3.1 训练配置与成本口径

设置	small	large
规模称谓	约 Llama-1.5B 级别	约 Llama-8B 级别
层数 / 隐藏维度 / heads	24 / 2048 / 16	32 / 4096 / 32
持久记忆中间维度	6144	14336
预训练 tokens	200B	1T
上下文长度	4096，随后适配到 32768	4096，随后适配到 32768
预训练峰值学习率	$3\times10^{-4}$	$10^{-3}$

主对照是作者训练的 Llama 风格、多头注意力 Transformer。两类模型使用匹配的层数、隐藏维度、训练数据与训练配方。预训练 batch size 为 1024，使用 AdamW（0.9、0.95）、weight decay 0.1、梯度范数裁剪 1，warmup 2000 步，之后余弦退火到峰值学习率的 1/100。使用文档内 attention mask；训练窗口中的较长文档按最大长度截断。实验硬件为 80GB H100。（Sec. 4，PDF pp. 4–5；Appendices B、C、J，PDF pp. 13–14、21）

匹配骨干配置不等于参数完全相同。 large Transformer 为 8.8B，完整 Memory Mosaics v2 为 9.9B，多约 12.5%。Table 2 在长度 256 下估算每 token FLOPs 分别为 16.7B 与 18.9B，多约 13.2%。这组短长度 FLOPs 不能直接代表 32K 检索或完整训练成本。

3.2 三组实验怎样测量

常规基准。 Table 1 汇报 19 个常用语言基准及其平均分。作者进一步在训练后关闭长期记忆分支，观察哪些任务几乎不受影响，从中选出 13 项作为持久知识能力的代理指标。关闭一个分支的实验能够说明任务对该分支的依赖，但不足以把所有知识精确定位到 MLP 参数。

多文档问答。 提示先串联若干真实文章，最后给出与其中一篇文章有关的问题。长度从 4K 增加到 64K，比较训练长度内的效果与未经进一步适配的长度外推。下文均采用论文表中的 QA 得分（%），数值越大越好。

多类别 ICL。 三个任务的输出都是类别名称或匿名类别编号，指标为分类准确率。

数据集	本文类别数	单样例平均长度	任务
Banking77	77	24 tokens	客户服务意图
Tacred	41	77 tokens	句中两个实体的关系
Goemotion	28	26 tokens	评论的情绪类别

本文的 1 shot 是每个类别各一个示例。例如 Banking77 的 16 shots 是 $77\times16=1232$ 个示例；按单样例平均长度计算，仅示例内容就约 29.6K tokens，完整提示还包含模板与标签。这个设置同时考查新映射学习和大量示例的保留。（Sec. 5.3，PDF p. 7）

语义标签如 joy，可调用预训练知识；匿名标签如 class_00，要求从当前示例学习名称映射。作者还比较空格/换行分隔以及 shot 内是否打乱示例顺序，为每个 n-shot 配置选取效果最好的提示策略。因此图中展示的是经过提示选择的性能。（PDF p. 7 脚注 13；Appendix I，PDF pp. 19–21）

四：结果——沿三种能力逐层判断

4.1 持久知识：总体接近，但不能把 19 项都视为纯参数记忆

19 项基准平均分	Transformer	Memory Mosaics v2
small	37.8	38.0
large	52.2	52.2

来源：Table 1，PDF p. 5。平均分相同不意味着每项相同，例如 large 的 GSM8K 为 32.4 对 27.4，而 HumanEval+ 为 38.3 对 43.0。合理结论是总体常规语言能力接近。

长期记忆消融进一步把任务拆开：

large 的任务分组	Transformer	完整 MM v2	关闭长期记忆
13 项“持久知识”代理基准平均分	57.1	56.8	56.6
另外 6 项平均分	41.4	42.1	34.9

来源：Table 2，PDF p. 5；Table 9，PDF p. 16。前 13 项只下降 0.2 个百分点；后 6 项下降 7.2 个百分点，其中 BBH 从 47.8 降到 24.6。后 6 项包括 SQuAD、BBH、MATH、MBPP 和两项 RACE，它们需要更多当前上下文支持。

关闭长期分支后，模型参数降为 8.3B，短长度 FLOPs/token 降为 15.6B。这个配置可以说明部分任务几乎不需要长期记忆，但它已经放弃论文最关注的一部分新知识处理能力。

4.2 新知识：长文档越难，完整记忆的收益越突出

4K 预训练模型，尚未做 32K 适配：

模型	4K	8K	16K	32K
Transformer small	39.4	×	×	×
MM v2 small	45.0	35.0	34.1	31.7
Transformer large	57.7	×	×	×
MM v2 large	59.3	48.8	46.4	26.5

来源：Table 3，PDF p. 6。× 保留原表的外推失败标记，不将它转写成精确的 0 分。4K 长度内的增益分别为 5.6 和 1.6 个百分点；正文写作“1.4–5.6%”，其中下界与表内数值不一致，应以表格计算为准。MM v2 可以在 4–8 倍长度上继续工作，但 large 从 4K 的 59.3 降至 32K 的 26.5，说明外推有效并不等于性能不随长度下降。

做完 32K 长度适配后：

模型	4K	8K	16K	32K	64K
Transformer small	37.0	29.3	29.0	22.1	×
MM v2 small	44.3	39.3	39.4	36.9	25.3
Transformer large	51.2	48.8	44.7	41.1	×
MM v2 large	58.9	55.5	54.9	53.4	46.4

来源：Table 4，PDF p. 6。32K 上 small 提升 14.8 个百分点，large 提升 12.3 个百分点。large 的相对增幅是 $12.3/41.1\approx29.9\%$，不能把 12.3 个百分点写成相对提高 12.3%。64K 是相对 32K 适配长度的进一步外推。

这个优势确实依赖长期分支。关闭该分支后，large 在 4K、8K、16K、32K 上分别从 58.9、55.5、54.9、53.4 降到 38.5、22.2、20.0、20.2。32K 损失达到 33.2 个百分点。（Table 10，PDF p. 17）

4.3 随机重叠有直接消融证据，简单 NIAH 则区分度不足

small，4K 训练、无长度适配	测试 4K	测试 32K
不使用随机长期延迟	43.6	15.9
使用随机长期延迟	45.0	31.7

来源：Table 12，PDF p. 17。随机训练策略在长度内只增加 1.4 个百分点，在 8 倍外推时增加 15.8 个百分点。这支持“避免固定位置边界有助于外推”的解释，也表明结果不能只归因于去掉 RoPE。

作为对照，RULER S-NIAH 在 32K 上，large Transformer 和 MM v2 分别为 99.6、100.0；small 为 97.8、100.0。简单的单针检索已经接近饱和，难以呈现多文档问答中的差距。（Table 13，PDF p. 17）

Appendix G 还与公共 base 模型比较，MM v2 在 32K 为 53.4，Mistral-base 为 44.7，Mixtral-base 为 41.3。该表混合了引用自既有研究的结果，训练配方不同，且 MM v2 生成长度为 32 tokens，其他模型为 128；它提供额外背景，主要受控证据仍是作者训练的配对基线。（Table 11，PDF p. 17）

4.4 ICL：优势在于使用示例，具体收益取决于任务和标签

大模型在语义标签任务上的上下文学习

原文 Fig. 3，PDF p. 8。三个面板依次为 Banking77、Tacred、Goemotion，横轴是每类示例数，纵轴为准确率（0–1），蓝色是 MM v2，红色是 Transformer。面板纵轴范围不同，不宜只比较线条间的视觉距离。

Banking77 中两种模型都能随示例数增加而提升；Tacred 中 MM v2 随示例增加上升，Transformer 反而下降。Goemotion 的 MM v2 在低 shot 区间低于 Transformer，之后才反超。因而“所有任务、所有 shot 都提升超过 10 个百分点”并不符合图中信息。图中 Tacred 在 7 shots 附近标注的 10.2% 是约 10.2 个百分点的纵轴差距。

大模型在匿名标签任务上的上下文学习

原文 Fig. 4，PDF p. 8。匿名标签移除了类别名称的语义提示。MM v2 在三组任务曲线上整体领先，其中 Tacred 在 7 shots 附近标注了约 15.5 个百分点的差距。Goemotion 的绝对准确率只有约 0.07–0.11，且随 shot 有波动，因此这里的领先应按该任务的低分区间理解，而不能把它写成已经充分解决匿名情绪分类。

这些结果支持一种更具体的结论：MM v2 更善于从当前上下文提取可用于分类的新关系，尤其是不能直接靠标签名称调用已有知识时。更多样例通常有益，但并不是每条曲线都严格单调。small 模型的 Figs. 13–14 呈现相同的总体趋势，Tacred 的标注差距分别为 16.7 和 12.7 个百分点。（Appendix H，PDF p. 18）

4.5 仅给 Transformer 拆分长短期 attention 不够

Fig. 5 对 small Transformer 增加长短期注意力分工，在匿名 Tacred 上仍明显落后于 MM v2。它说明“分成两个时间尺度”单独不足以解释全部优势；对称内容寻址、后继 value、门控 key 和自适应带宽的组合值得关注。（PDF p. 8）

不过，本文没有给出三项 v2 修改逐一移除的完整消融矩阵。能够单独归因的证据主要是长期记忆开关、随机延迟训练，以及上述 Transformer 长短期拆分对照；各模块的独立收益与交互作用仍需进一步实验。

4.6 增加 8 倍训练数据：部分任务追平，匿名映射仍落后

large 模型	训练 tokens	32K 多文档 QA 得分
Transformer	200B	33.8
Transformer	1T	41.1
Transformer*	8T	46.9
MM v2	1T	53.4

来源：Table 5，PDF p. 9。8T Transformer 比 1T Transformer 增加 5.8 个百分点，仍比 1T MM v2 低 6.5 个百分点。带星号的 8T 模型还改用了 grouped-query attention，并将预训练上下文提高到 8K，所以这不是只改变数据量的严格单变量实验。

增加训练数据后的语义标签分类

原文 Fig. 6，PDF p. 9。蓝线为 1T MM v2；红色点线、实线、虚线分别为 200B、1T、8T Transformer。8T 模型在语义标签任务上能达到相近水平，Goemotion 上甚至领先。更多训练数据对可以调用已有语义的任务确实有效。

增加训练数据后的匿名标签分类

原文 Fig. 7，PDF p. 10，图例含义同上。匿名标签下，8T Transformer 仍显著落后，在展示的任务上还低于 1T Transformer。这使“训练得更多就能获得更好的现场学习能力”成为值得质疑的假设。由于架构与训练长度也同时改变，图中现象不能唯一归因为预训练 token 数增加。

4.7 一步微调：这里测的是长度适配的数据效率

4K 到 32K 长度适配所需的优化步数

原文 Fig. 8，PDF p. 10。横轴是微调 mini-batch 数，也就是优化步数；纵轴是在 32K 多文档问答上的准确率百分数。MM v2 用一个 mini-batch 提升约 22 个百分点，从约 26.5 到约 48.5；两步已接近后续平台。Transformer 用 800 步仍低于 MM v2 的一步结果。

这说明已经能做长度外推的 MM v2，适配到更长上下文的优化距离较短。这里的“一步”指一个 batch 上的一次参数更新，不是一个训练样例，也不是推理时完全不更新权重的 ICL。该实验专门测量 4K 到 32K 的长度适配，不能直接推广成任意新领域都只需一步微调。论文未单独展开这张图的完整微调 batch 和优化超参数，精确复现这一速度需要补充训练配方。

4.8 参数效率证据与部署效率要分开理解

Appendix E 的 Fig. 12 画出 RULER QA 与 Tacred 的性能—参数量、性能—FLOPs 曲线，MM v2 的曲线位于 Transformer 上方，作者据此说明收益不限于 9.9B 对 8.8B 的参数差异。（PDF p. 16）

图中是连接有限规模结果的曲线，没有详细展开每个中间预算下独立训练的配对配置；FLOPs 横轴的具体计数口径也不如 Table 2 明确。因此它是性能—预算取舍的辅助证据，不能替代吞吐、延迟或显存测量。

从计算结构推断，固定 head 维度时，长期 KV 存储随长度 $L$ 线性增长；精确读出在单次解码时需扫描历史，整段计算仍包含二次规模的长程交互。门控递推生成 key 并未消除这一成本。作者在结尾提出模糊哈希和分层记忆作为未来方向，而不是声称本文已经实现了低复杂度长上下文服务。（Sec. 3.2 脚注 6，PDF p. 3；Sec. 8，PDF p. 10）

五：结论——这篇论文改变了哪些判断

第一，常规能力相近不代表推理时学习能力相近。 19 项基准平均分相同，而长文档 QA 和匿名标签 ICL 明显分化。对于希望模型现场学习新规则的应用，额外评测“存入新信息”和“使用新映射”很有必要。

第二，记忆的组织方式是一个可扩展的架构选择。 用过去情境生成 key、用近未来生成 value，再配合内容门控、容量相关带宽和长短期分工，使核回归式检索成为大规模语言模型的一部分。论文将这一思路从小型合成任务推进到了 9.9B 参数和 1T 真实语料训练。

第三，最强证据是受控任务上的能力差异，而非对所有 Transformer 或记忆压缩架构的普遍判断。 Appendix D 引用的 RWKV、Mamba 结果确实表现出长上下文检索困难，但这些来自特定既有模型与评测，未构成对所有压缩记忆方案的不可行性证明。数据量实验同样表明部分语义任务可以被更多训练追平。

最值得继续追问的两件事是：在严格匹配参数和训练预算下，后继 value、门控 key、带宽调度分别贡献多少；以及在保留匿名 ICL 与多文档 QA 收益的同时，能否减少长期 KV 的存储和搜索成本。这两点分别决定机制解释的清晰程度和长上下文应用的实际价值。