版本与下载

MoNe: Modular Neural Memory for Efficient Long Context Inference：中文研读笔记

作者：Wonguk Cho、Kyubyung Chae、Tribhuvanesh Orekondy、Sunghyun Park、Hyoungwoo Park、Jeongho Kim、Arash Behboodi、Kyuwoong Hwang、Sungrack Yun（Qualcomm AI Research）。

版本：arXiv:2608.17616v1，提交于 2026-08-18；本次获取与研读日期：2026-10-09。论文首页标注 AdaptFM Workshop at ICML 2026。

原文：arXiv · 本地 PDF · 英文汇报 PDF · 可编辑 Beamer 源文件。下文页码均为从 1 开始的 PDF 页码，与本文印刷页码一致。

论文总览

MoNe 把长上下文转换成逐层小型神经网络的权重状态，再让冻结的 Transformer 用问题读取这个状态。上下文以 512 token 为一段输入；每层用自己的 key/value 激活构造关联记忆损失，局部更新 SwiGLU 记忆网络。回答时不再输入原上下文，而是把问题驱动的记忆输出投影成额外 KV，接回原模型的注意力。这样既保留预训练主干，又把随上下文增长的 KV 缓存替换为固定规模的快权重状态。（Sec. 3，PDF pp. 3–4）

论文最醒目的结果是：在 Qwen2.5-0.5B-Instruct 上，记忆模块只用 1K–4K 上下文离线训练，仍能在 128K 上取得 S-NIAH 0.96、MK-NIAH 0.94、FWE 0.96。前两项是子串精确匹配率，后一项是目标词召回率。包含测试时写入的总 FLOPs 从 ICL 的 786.33 T 降至 149.61 T，峰值 GPU 显存从 7.07 GB 降至 1.41 GB。（Tables 1–2，PDF p. 5）

理解贡献需要把三个范围分开：主干冻结不代表整个方法无需训练；查询的常数成本是相对于原始上下文长度；实验验证的是受控检索与词频聚合。 MoNe 的价值在于提供了一种经过任务训练、可接入现有主干的记忆接口，其自然文档推理能力仍是论文提出的后续方向。

结构地图

原文章节	作用	PDF 页码与关键证据
1. Introduction	长上下文成本、模块化记忆的核心思路	pp. 1–2；Figs. 1–2
2. Related Work	定位长上下文、RAG、测试时神经记忆	pp. 2–3
3.1. Problem Setup	冻结主干、分段、注意力	p. 3；Eqs. (1)–(2)
3.2. Memory Injection into Backbone Attention	SwiGLU 记忆、读取与额外 KV	pp. 3–4；Eqs. (3)–(5)，Fig. 3
3.3. Associative Memory Loss and Update	关联损失、更新、局部位置编码、离线训练	p. 4；Eqs. (6)–(8)
3.4. Test-Time Learning and Inference	层内梯度与只读回答	p. 4；Eqs. (9)–(11)
4.1. Experimental Setup	三项任务、指标、ICL 与 RAG	pp. 4–5
4.2. Evaluation Results	原生窗口内外的准确性	p. 5；Table 1
4.3. Computational Cost Analysis	总 FLOPs 与峰值显存	pp. 5–6；Table 2
4.4. Performance-Efficiency Trade-off	接入层数、段长的消融	p. 6；Fig. 4
5. Conclusion；Limitations and Future Work	贡献与规模、自然任务的边界	p. 6
References	参考文献	pp. 7–9
A.1. Datasets；A.2. Implementation Details	数据生成、实际更新流水线与优化配置	p. 10

一：动机——怎样让已有模型用固定状态记住长上下文？

完整上下文学习（In-Context Learning, ICL）把所有历史 token 交给注意力：预填充中注意力部分的计算随长度平方增长，KV 存储随长度线性增长。对于小模型，另一个问题是“放得下”不等于“用得好”：上下文中大量无关信息可能干扰检索，词频统计等任务也需要跨段积累信息。

检索增强生成（Retrieval-Augmented Generation, RAG）先筛出少量片段，减轻生成模型的负担，但查询相关性排序未必保留全局统计量。论文讨论的 TTT、Titans、LaCT 等路线则把历史写入动态权重，不过作者希望避免重新训练整个序列架构。因此，MoNe 的设计目标是同时满足：复用已有主干、让写入成本随输入线性增加、让回答不再访问历史 token。（Secs. 1–2，PDF pp. 1–3）

图 1：ICL 与 MoNe 的两阶段流程

原文 Fig. 1，PDF p. 1。左侧 ICL 的问题直接关注全部上下文；右侧先顺序更新记忆，再由问题读取记忆并生成额外注意力条目。图中的压缩对象是上下文对后续任务有用的信息，存储载体是网络参数。

二：方法——写进小网络，再通过注意力读出来

2.1 三种时间尺度与符号

符号	含义
$N$	原始上下文 token 数
$T$、$S$	每段 token 数与段数；默认 $T=512$，整除时 $S=N/T$
$L$、$l$	主干层数与层索引；实验默认接入全部 24 层
$H$、$d_h$	快权重记忆头数与每头维度；实验为 4、224
$\mathbf W_s^{(l)}$	第 $l$ 层在处理第 $s$ 段后的快权重集合
$\mathbf W_q,\mathbf W_k,\mathbf W_v$	复用的主干投影；记忆路径还带离线训练的 LoRA
$\boldsymbol\mu_s^{(l)}$	含逐 token 学习率和数据依赖动量的更新量
$Q$、$\mathbf q$	问题 token 数与问题本身

$H=4,d_h=224$ 描述的是附录中的记忆模块，不应直接当作主干注意力头配置。下面沿用原文的单 token 向量公式，批量实现还需明确各头拆分与拼接。

阶段	输入与目标	会改变什么
离线训练	短上下文、问题、答案；用最终记忆条件下的答案生成损失	LoRA、学习率参数、动量投影、输出缩放等；主干冻结
测试时写入	新上下文的每个分段；用局部 key/value 关联损失	各层快权重及相应更新状态；离线学到的规则固定
回答/推理	问题及生成过程中的 token	读取最终快权重，不再更新记忆，不重读原始上下文

因此，“无需重训”应理解为无需重训主干。接入记忆的适配器与更新规则需要离线训练，处理一份新上下文也需要实际执行梯度写入。（Secs. 3.3–3.4，PDF p. 4；Appendix A，PDF p. 10）

2.2 记忆的载体：每层多头 SwiGLU 小网络

原文 Eq. (3) 定义单个记忆头：

$$ \mathcal M(\mathbf x;\mathbf W^{(l)})= \mathbf W_{\mathrm{out}}^\top \left[\operatorname{SiLU}(\mathbf W_{\mathrm{in}}\mathbf x) \odot(\mathbf W_{\mathrm{gate}}\mathbf x)\right]. $$

每个矩阵大小为 $d_h\times d_h$，$\odot$ 为逐元素乘法。输入决定两条投影路径，一条经 SiLU，另一条作为乘法门；输出投影把乘积变回该头的特征空间。历史不是一串被保留的激活，而是改变这三个矩阵。非线性记忆提供比单一线性映射更丰富的关联形式；本文没有单独给出等预算线性记忆消融，因此其贡献应与完整系统效果区分。（Sec. 3.2，PDF p. 3）

固定 $L,H,d_h$ 后，快权重矩阵数量不随 $N$ 增加。按附录配置，矩阵本身共有 $24\times4\times3\times224^2=14,450,688$ 个标量。这是本次按尺寸的计算，仅统计三个快权重矩阵，不含 LoRA、动量状态与其他参数；论文的 6.4% 是整体参数增量口径，不能把两者直接等同。

2.3 怎样写入：最大化 key 对应输出与 value 的内积

对第 $s$ 段第 $j$ 个 token，在第 $l$ 层由自身激活构造训练对。省略实际归一化时，原文 Eq. (6) 写作：

$$ \mathbf k_{s,j}^{(l)}=\mathbf W_k\mathbf x_{s,j}^{(l)},\qquad \mathbf v_{s,j}^{(l)}=\mathbf W_v\mathbf x_{s,j}^{(l)}. $$

关联记忆损失与段平均损失为：

$$ \ell_{s,j}^{(l)}(\mathbf W^{(l)}) =-\bigl(\mathbf v_{s,j}^{(l)}\bigr)^\top \mathcal M(\mathbf k_{s,j}^{(l)};\mathbf W^{(l)}),\qquad \mathcal L_s^{(l)}=\frac1T\sum_{j=1}^{T}\ell_{s,j}^{(l)}. $$

最小化负内积，使记忆在输入 key 时更倾向输出与 value 对齐的方向。它不显式使用“预测值减真实值”的重建残差。原文 Eq. (8) 把更新概括为：

$$ \mathbf W_s^{(l)}=\mathbf W_{s-1}^{(l)}-\boldsymbol\mu_s^{(l)}. $$

其中 $\boldsymbol\mu_s^{(l)}$ 汇总 token 级梯度，学习率由 softplus 保证为正，动量衰减由 sigmoid 限制在 $(0,1)$，并根据当前段的隐藏状态改变。原文没有完整展开动量递推式，所以不能把它当作普通固定学习率 SGD 的精确定义。（Sec. 3.3，PDF p. 4；Appendix A.2，PDF p. 10）

附录补充了实现中不可省略的处理：key/query 经仿射重缩放、SiLU 和逐 token L2 归一化，value 经 SiLU；每次更新后对权重按通道做 L2 重归一化；读出的结果经过 RMSNorm 和 SiLU 门控。这些步骤控制写入和读取的尺度。负内积本身没有误差项带来的幅度约束，单看简化损失会遗漏实际系统的重要稳定化机制。

教学解释：在线性记忆中看清一次写入。 暂令 $\mathcal M(\mathbf k;A)=A\mathbf k$，忽略动量、归一化和多头，则

$$ \ell=-\mathbf v^\top A\mathbf k,\quad \nabla_A\ell=-\mathbf v\mathbf k^\top,\quad A'=A+\eta\mathbf v\mathbf k^\top. $$

用查询向量 $\mathbf u$ 读取时，新写入项贡献 $\eta\mathbf v(\mathbf k^\top\mathbf u)$：key 越匹配，目标 value 的贡献越大。重复写入相关方向可能累计频率信息，也可能造成关联间干扰。这有助于理解检索与 FWE，但真实 MoNe 使用非线性网络、动量和重归一化，不等价于这个线性例子。

2.4 局部更新为何节省反向传播？

图 3：逐层局部的测试时更新

原文 Fig. 3，PDF p. 3。黑箭头是前向，红箭头是局部反向；每层用自己的表示形成关联损失，只更新本层记忆。原文 Eqs. (10)–(11) 用“其他层梯度为零”表达这一计算边界。

若在测试时用最终答案交叉熵更新底层记忆，梯度需穿过后续层。MoNe 的写入监督直接来自本层 key/value，因而不需要这条跨层反向链。这里限制的是测试时更新的梯度路径；隐藏状态仍经主干逐层前向传播，离线答案生成训练也不能据此理解成各层完全独立。（Sec. 3.4，PDF p. 4）

2.5 怎样读取：让问题生成记忆 KV

处理完所有段后，读取第 $l$ 层最终状态。原文 Eq. (4) 的简化表达为：

$$ \mathbf h_j=\mathcal M(\mathbf W_q\mathbf x_j;\mathbf W_S^{(l)}). $$

对读出进行归一化和门控后，再用主干 key/value 投影映射到注意力接口：

$$ \mathrm{out}=\operatorname{Attention} \left(\mathbf Q, [\mathbf K\,\|\,\mathbf W_k\mathbf h], [\mathbf V\,\|\,\mathbf W_v\mathbf h]\right). $$

这里 $\mathbf Q,\mathbf K,\mathbf V$ 来自当前查询 token，$\|$ 沿序列条目拼接。标准注意力在普通条目与记忆条目之间共同分配权重，因此不需要替换整个预训练注意力算子；记忆承担的是额外信息来源的角色。（Sec. 3.2，PDF pp. 3–4，Eq. (5)）

一个影响复现的缺口是：Eq. (4) 按查询 token $j$ 生成读出，而 p. 4 又称每层 memory KV 固定为 $T$ 个条目。文中没有解释如何从长度 $Q$ 的查询构成固定 $T$ 个槽位，也未展开多头输出接回主干投影的具体尺寸处理。可以确认其设计意图是记忆规模不随 $N$ 增长，但不能自行补出 padding、学习槽位等实现。

2.6 为什么能跨过位置窗口，为什么容量仍可能有限？

MoNe 对每段重复使用局部旋转位置编码（segment-local RoPE）：位置索引始终在 $[0,T)$ 内。原文写为 $p_j^{\mathrm{local}}=j\bmod T$；问题使用 $[0,Q)$，并假设 $Q\ll T$。因此，128K 输入也不会要求某一段的 RoPE 外推到 128K。（Sec. 3.3，PDF p. 4）

段与段的顺序通过快权重的顺序更新隐式进入状态，局部 RoPE 本身不提供全局位置。这个设计消除了绝对位置范围扩张，却没有保证固定维度记忆可以无损保存任意长历史。本文的直接证据是训练最大 4K、评测最大 128K，即 32 倍训练长度外推；相对主干 32K 原生窗口则是 4 倍。

2.7 复杂度的自变量是什么？

固定段长、主干和记忆大小后，令单段写入成本为 $c(T)$，则总写入成本为

$$ F_{\mathrm{write}}(N)=\left\lceil\frac NT\right\rceil c(T)=O(N). $$

若显式看段内稠密注意力，所有段的注意力计算量为 $O((N/T)T^2)=O(NT)$，在固定 $T$ 时为线性。只保留当前段激活、各层快权重与动量等状态，峰值存储也无需随段数增长。

回答成本记作 $F_{\mathrm{query}}(Q,A)$，其中 $A$ 是答案长度。它不依赖已处理的 $N$，于是可称为“对 $N$ 的 $O(1)$”；问题或答案变长，计算与生成缓存仍可能增长。该复杂度针对部署时写入与回答，不能直接套用于离线训练的内存占用。

对同一上下文的 $m$ 个问题，可复用最终快权重，教学层面的成本表达为

$$ F_{\mathrm{total}}=F_{\mathrm{write}}(N) +\sum_{i=1}^{m}F_{\mathrm{query}}(Q_i,A_i). $$

论文提出这种多查询复用与追加上下文的能力，但没有给出专门的多查询吞吐或长期连续追加实验。讨论复用收益时，ICL 也应允许复用已计算的前缀 KV，不能假设它每问一次都重新预填充。（Sec. 1，PDF p. 2；Secs. 3–4.3，PDF pp. 3–6；成本公式为本次分析）

三：实验——评测什么，比较什么？

3.1 三项任务及指标

任务	输入与查询	实际指标，越大越好
S-NIAH	在填充文本随机深度埋入一对由形容词与名词构成的键值；给 key 找 value	Sub-EM：正确 value 是否作为子串出现在输出中
MK-NIAH	在 Paul Graham 文章片段中埋入四对键值；查询其中一个 key，其余为干扰项	Sub-EM，针对被查询的一个 value
FWE	合成六字符词，按 Zipf 分布 $\alpha=2.0$ 抽样，最高频词被噪声 token 替换；找最频繁的三个非噪声词	variable recall：三个目标词出现在输出中的比例

来源：Sec. 4.1，PDF p. 4；Appendix A.1，PDF p. 10。

MK-NIAH 的“Multi-Key”表示存在多个候选键，任务不要求把四个事实连起来推理。FWE 才直接考察跨上下文的频率聚合。正文 Sec. 4.2 将三项结果统称 Sub-EM，并用 multi-hop 解释部分 RAG 失分；这里依据明确的任务定义区分，避免把检索能力提升扩大为多跳推理结论。

Sub-EM 只要求正确字符串被包含，FWE 的指标只统计目标词召回；定义没有额外惩罚多输出的非目标词。因此 0.96 应按相应召回/匹配口径理解，不能解释成严格完整答案正确率。

3.2 训练长度与比较协议

主干统一为 Qwen2.5-0.5B-Instruct，论文称其原生窗口为 32K。MoNe 按 512 token 分段，以 2–8 段构造 1K–4K 的离线训练输入，每种段数生成 30K 样本。附录此处用 $N$ 表示段数，与正文 token 数的符号重用；此处按上下文统一解释为 $S$。评测每个设置生成 100 样本，主表报告 4K、8K、16K、32K、48K、64K、96K、128K。（Appendix A.1，PDF p. 10）

三种方法承担不同的比较角色：

ICL：将完整上下文放入提示词，衡量原模型直接利用上下文的能力。超过 32K 的结果包含原生窗口外推困难。
RAG：将上下文切成 128 token 块，用文中称为 BGE-Large 的模型计算嵌入，按与问题的余弦相似度检索；在 $K\in\{1,4,8\}$ 中为每个长度报告最佳结果。它是局部相关性检索基线。
MoNe：主干冻结，但记忆接口和更新规则在这些任务构造的数据上接受离线答案监督，再对评测上下文进行无答案标签的局部写入。

因此三者虽然共享主干，任务适配预算并不相同；结果说明“经过训练的记忆系统”相对直接 ICL/RAG 的效果，不单独隔离记忆架构与额外任务训练的贡献。（Sec. 4.1，PDF p. 5；Sec. 3.3，PDF p. 4）

3.3 关键实现配置

项目	原文配置
接入位置	全部 24 个 decoder 层
记忆网络	SwiGLU；4 个快权重头，每头 224 维
默认段长	512 token
LoRA	rank 128，$\alpha=128$
离线优化	AdamW，$\beta_1=0.9,\beta_2=0.95$，weight decay 0.1
学习率	非 LoRA $10^{-3}$；LoRA $5\times10^{-5}$
训练调度	1 epoch，batch 16，warmup 200 steps，cosine 衰减至 $10^{-5}$
数值配置	gradient clip 1.0，bf16

来源：Sec. 4.4，PDF p. 6；Appendix A.2，PDF p. 10。上述 AdamW 配置用于离线训练；测试时快权重使用前述学得的学习率与动量更新规则。

四：结果——收益从哪里来，代价落在哪里？

4.1 原生窗口内：收益并不只来自规避超长位置

下表从原文 Table 1 选取 4K 与 32K 两端，数值保持原表的 0–1 范围。S-NIAH/MK-NIAH 为 Sub-EM，FWE 为 variable recall。

任务	长度	ICL	RAG	MoNe
S-NIAH	4K	0.95	0.94	1.00
S-NIAH	32K	0.94	0.93	1.00
MK-NIAH	4K	0.89	0.92	1.00
MK-NIAH	32K	0.93	0.79	0.99
FWE	4K	0.59	0.58	1.00
FWE	32K	0.41	0.61	1.00

来源：Sec. 4.2，Table 1，PDF p. 5。

窗口内最突出的差异是 FWE。32K 时，相对 ICL 的目标词召回率提高 59 个百分点，相对 RAG 提高 39 个百分点。单纯按查询相关性选少量片段很难保留全局频率；MoNe 在写入时遍历所有段，并经过该任务的离线训练，因此更容易学习累积所需统计信息。这是与任务相符的解释，本文没有用内部计数探针证明记忆显式保存了精确频数。

4.2 超出原生窗口：128K 仍保留高检索率

128K 任务	ICL	RAG	MoNe	MoNe 相对 ICL	MoNe 相对 RAG
S-NIAH，Sub-EM	0.28	0.89	0.96	+68 百分点	+7 百分点
MK-NIAH，Sub-EM	0.00	0.71	0.94	+94 百分点	+23 百分点
FWE，variable recall	0.23	0.60	0.96	+73 百分点	+36 百分点

来源：Sec. 4.2，Table 1，PDF p. 5；百分点差为本次按表计算。

根据表 1 重绘的八种长度结果

根据原文 Table 1（PDF p. 5）精确数值重绘，并非论文原图。横轴为上下文长度，左、中面板纵轴为 Sub-EM，右面板为 FWE 召回率；虚线标记 32K，浅色区域为原生窗口之外。绿色为 MoNe，紫色为 RAG，橙色为 ICL。

从图中先看 32K 边界，再看右侧：ICL 在两项检索上的下降很明显，MoNe 则缓慢下降；RAG 的长度鲁棒性较好，但在 MK-NIAH 和 FWE 上整体较低。这支持“小范围位置编码加顺序记忆更新能进行长度外推”的整体结论。论文没有单独去掉局部 RoPE 的消融，因此不能把全部外推收益唯一归因于该部件。

4.3 计算与显存：端到端收益包含写入，但不包含离线训练

上下文	方法/阶段	峰值显存（GB）	FLOPs（T，即 $10^{12}$ 次操作）
32K	ICL	2.48	58.06
32K	MoNe 总计	1.41	38.10
32K	└ 测试时写入	1.41	37.24
32K	└ 回答	1.29	0.86
128K	ICL	7.07	786.33
128K	MoNe 总计	1.41	149.61
128K	└ 测试时写入	1.41	148.97
128K	└ 回答	1.29	0.64

来源：Table 2，PDF p. 5。峰值取两阶段的最大值，FLOPs 才相加。 表内不计一次性的离线适配训练成本。

按 $1-\text{MoNe}/\text{ICL}$ 计算，32K 的峰值显存下降 43.15%、总 FLOPs 下降 34.38%；128K 分别下降 80.06%、80.97%。这是相对降幅，与上面的得分百分点不同。

图 2：端到端成本比较

原文 Fig. 2，PDF p. 1。两个面板分别为峰值 GPU 显存与总 FLOPs，纵轴均为对数刻度；必须看标签数值理解差距，不能按柱高直接理解线性比例。

从 32K 到 128K，写入 FLOPs 从 37.24 T 增加到 148.97 T，约为 4 倍，与线性处理相符；显存保持 1.41 GB。回答部分为 0.86 T/0.64 T，说明它没有随 $N$ 增长，但也不是每次都完全相同。论文未给出足以解释这两项差异的统一问题/输出长度统计。

128K 的 149.61 T 中，约 99.6% 用于写入。于是一次性查询仍需承担完整读入成本，多次问同一上下文才更能摊薄它。论文没有报告实际延迟、吞吐、GPU 型号及内核细节，也没有将 RAG 纳入这张成本表；约 81% 的 FLOPs 降幅不能直接改写为约 81% 的响应时间下降。

4.4 层数消融：少装记忆节省有限，却可能破坏长程检索

图 4a–b：层覆盖的准确性与成本

原文 Fig. 4(a–b)，PDF p. 6，保留原始坐标与图例。横轴均为上下文长度；左侧纵轴为 MK-NIAH Sub-EM，右侧为总 FLOPs。三条线对应全部 24 层、最后 16 层、最后 8 层。

接入范围	64K Sub-EM	128K Sub-EM	128K FLOPs（T）
全部 24 层	0.98	0.94	149.1
最后 16 层	0.88	0.70	132.6
最后 8 层	0.15	0.02	116.1

来源：Sec. 4.4，PDF p. 6。该消融给出的全层成本为 149.1 T，主表为 149.61 T；原文未解释口径差异，分别保留各自数值。

从 24 层降到最后 16 层，FLOPs 只减少约 11.1%，128K 匹配率却下降 24 个百分点；降到最后 8 层，减少约 22.1%，匹配率下降 92 个百分点。作者报告每增加 8 层约增加 12.6M 参数。合理的机制解释是：只有高层有记忆时，低层仍可能形成缺乏历史支持的表示，后层的记忆难以完全弥补。该实验同时改变容量和接入深度，无法进一步区分二者各占多少作用。

4.5 段长消融：更少、更大的更新更能维持外推性能

图 4c–d：段长的准确性与成本

原文 Fig. 4(c–d)，PDF p. 6。左图比较三个段长的 MK-NIAH Sub-EM，右图比较 FLOPs；段长降低带来的计算节省较小。

段长 $T$	64K Sub-EM	128K Sub-EM	128K 上下文的段数
512	0.98	0.94	256
256	0.91	0.75	512
128	0.85	0.53	1024

来源：Sec. 4.4，PDF p. 6；段数按 128K=131072 token 的分段约定计算。

作者选择 512，因为它在被测段长中效果最好，而小段长只节省少量 FLOPs。更小的段意味着更多次写入、动量衰减和重归一化，也改变了每次更新能看到的局部信息范围。这些因素可能放大长序列上的信息损失，是本次机制分析；论文并未提供控制更新次数或保持相同累计衰减的实验来判定具体原因。

五：结论——可学习记忆接口的价值与下一步

MoNe 最值得关注的贡献，是把在线关联记忆做成预训练 Transformer 的额外 KV 来源：主干保持冻结，写入在各层局部完成，读取仍由原注意力处理。它展示了经过短上下文训练的记忆模块可以在受控任务上显著外推，同时把历史相关的显存占用固定下来。

现有证据最强的是 Qwen2.5-0.5B-Instruct 上的合成检索与统计聚合，以及两种上下文长度下的显存/FLOPs 数据。自然文档多跳问答、长期对话、更多主干规模是作者在 Sec. 5 明确列出的未来工作。固定状态也带来需要实测的容量、顺序和遗忘取舍；局部位置不超界并不能替代这些测量。

后续最有区分力的实验可以围绕三个问题展开：

把干扰变成真正的信息负荷。 增加独立键值数量、跨段组合深度和顺序敏感问题，同时测试持续追加后的旧记忆保留，测出容量与遗忘曲线。
分开架构收益与监督收益。 给 ICL/RAG 主干或适配器匹配任务训练预算，并增加线性记忆、不同位置编码和更新规则消融。
测量实际服务成本。 固定问题与输出长度，对单次和多次查询分别测端到端延迟、能耗与显存；ICL 允许前缀 KV 复用，RAG 计入索引与检索。随后在自然长文档及多个主干上验证。

这些实验能回答它何时适合充当长期记忆。当前论文已经给出有力的受控任务结果，最合理的使用视角是：用离线学到的写入规则把上下文压缩成任务相关状态，再用很低的历史依赖成本反复读取。