# GenMem：用生成式符号地址管理持续演化的智能体记忆

**论文**：GenMem: Generative Symbolic Memory for Self-Evolving Harness  
**作者**：Xinke Jiang、Tao Feng、Weixuan Xu、Zhixin Zhang、Zhibang Yang、Wentao Zhang、Runchuan Zhu、Xu Chu、Junfeng Zhao、Yasha Wang  
**版本**：arXiv:2609.34633v1，2026-09-28 提交；本次获取与研读日期：2026-10-19。  
**原文**：[arXiv](https://arxiv.org/abs/2609.34633v1) · [本地 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。下文页码均为从 1 开始的 PDF 页码，与本文印刷页码一致。

## 论文总览

GenMem 研究的是**智能体的外部经验记忆**：把过去任务中有效的操作流程、适用条件和失败教训保存下来，供下一次执行时调用，并在执行后改进。核心问题是，经验文本不断改写时，检索策略怎样继续找到同一个功能槽位。

作者把记忆项写成“符号地址 SID + 可修改的文本”，用模型直接生成 SID，统一读和写的目标选择。MemRetriever 负责寻址、读取和面向当前任务的改写；StackPlanner 负责执行；MemEvolver 根据执行轨迹选择地址并更新经验。在线阶段冻结模型和码本，适应发生在外部文本中。[Sec. 2–3，pp. 3–6]

论文最有价值的设计是**将可学习的寻址接口与可更新的经验内容分开**。完整的 GenMem (RL) 在 ALFWorld 总成功率、WebShop 成功率和六项 QA 平均 F1 上分别报告 93.6%、82.8% 和 52.8%。但这些是多阶段训练后的系统结果；未进行 StackPlanner 的 Harness-RL 训练时，QA 平均 F1 只有 33.7%，与 ReAct 的 33.6% 接近。[Tables 1–2，pp. 7–8]

读这篇论文需要把三层主张分开：固定地址是由更新规则直接保证的；更新记忆能提高任务表现需要实验验证；SID 具有独立语义轴或未见组合的泛化能力，则还没有得到当前实验的充分支持。正文第 5 节及附录也明确收窄了最后一项解释。

## 结构地图

| 原文章节 | 主要作用 | PDF 定位 |
| --- | --- | --- |
| 1 Introduction | 经验稀疏性、内容更新引起的寻址漂移 | pp. 1–3，Fig. 1 |
| 2 GenMem: Symbolic Memory Addressing System | SID、离线残差量化、读写闭环 | pp. 3–4，Fig. 2，Eqs. (1)–(4) |
| 3 Memory Policy Optimization and Self-Evolution | 对齐、中期训练、GRPO、在线更新 | pp. 4–6，Eqs. (5)–(9) |
| 4 Experiments；4.1 / 4.2 / 4.3 | 设置、主结果、在线演化 | pp. 6–9，Tables 1–4，Fig. 3 |
| 5 SIDs as Symbolic Language: Composition & Emergent Reasoning | GPQA 的 SID 前缀及文本输入比较 | p. 9，Fig. 4 |
| 6 Conclusion, Limitations and Future Work | 长尾地址、冷启动噪声与未来方向 | pp. 9–10 |
| A Related Work；B Formal Foundations and SID Representation | 与记忆系统、生成式检索的关系；寻址与语义的区别 | pp. 15–18 |
| C Additional Method Details；D Memory Bank Construction and Statistics | 量化指标、奖励、更新规则与经验来源 | pp. 18–25，Tables 5–9 |
| E Experimental Datasets and Evaluation Protocols；F Baselines, Implementation, and Training Details | 指标、在线协议、比较条件与超参数 | pp. 25–28，Tables 10–11 |
| G Additional Experiments and Analysis | 量化设置、检索阶段分析、训练曲线、消融、GPQA 协议 | pp. 28–38，Tables 12–23，Figs. 7–12 |
| H Case Studies；I Full Prompt Specifications | 具体读写案例及运行提示 | pp. 38–48 |

## 一：动机——经验有用性与文本相似度并不相同

### 1.1 经验记忆保存的是可执行的做法

知识型检索常问“哪段文字包含答案”；经验检索更关心“什么做法能改善当前决策”。两个任务都涉及人物日期，不代表应该调用同一种策略：一个需要识别同名人物，另一个需要解决冲突来源。词面相似度可能很高，但决定是否成功的子技能不同。

作者从四个方面描述稀疏性：值得保留的轨迹少；不同经验共享子技能；一次任务只需要很小一部分经验；持续写入也主要集中在少数地址。这些是构建设计动机的经验性假设。附录 B.1 的形式化没有给出经验分布低维性的独立定理。[pp. 15–16]

### 1.2 更新内容会影响以后谁能找到它

若检索分数依赖当前文本的向量 $f_m(x_i)$，将 $x_i$ 改写为 $x_i'$ 后重新建索引，会改变同一查询对该记忆的排序，即使其功能没变。GenMem 让检索模型学习“任务上下文 → 功能地址”，再把该地址绑定到最新的文本。

这里应区分**存储 ID 稳定**和**查询到 ID 的策略稳定**。向量数据库也可以保留固定主键；GenMem 的特点是直接生成结构化主键，并让读写共用该接口。附录 B.2 还明确指出，判别式检索同样可以使用任务反馈训练，符号地址本身不会自动使检索更有用。[p. 16]

## 二：方法——从残差量化到稳定的读写接口

### 2.1 数据流及关键符号

![GenMem 原始框架图](figures/fig-02-framework.png)

来源：Fig. 2，p. 3。上部左侧是经验采集和 SID 构建，中部是对齐与示范训练；下部是两个记忆模块的策略训练；右侧是在线读写闭环。图中的三层树是示意，最终实验配置为四层。

| 符号 | 含义 |
| --- | --- |
| $q,\tau,\hat y$ | 查询、执行轨迹、任务答案 |
| $\mathcal M$ | 外部记忆库；每个已占用地址保存一份当前经验文本 |
| $x_i,z_i$ | 经验文本和对应 SID |
| $L,N_\ell$ | 地址层数、第 $\ell$ 层可用符号数量 |
| $e_i,r_i^{(\ell)},c_j^{(\ell)}\in\mathbb R^d$ | 经验嵌入、当前残差、第 $\ell$ 层的码本中心 |
| $\tilde x_r,\tilde x_e$ | 为当前任务改写的支持文本、准备写回的经验文本 |

### 2.2 80 个专用 token 表示 49,152 个可能地址

SID 是按层排列的离散元组：

$$
z_i=(s_i^1,\ldots,s_i^L)\in\mathcal Z,
\qquad \mathcal Z=[N_1]\times\cdots\times[N_L].
$$

其中各层 token 身份不同，即使数字索引相同也不是同一个 token。地址容量与专用词表大小分别为：

$$
K_{\mathrm{addr}}=\prod_{\ell=1}^{L}N_\ell,
\qquad V_{\mathrm{SID}}=\sum_{\ell=1}^{L}N_\ell.
$$

最终配置为 $(48,16,8,8)$，故 $K_{\mathrm{addr}}=49,152$、$V_{\mathrm{SID}}=80$，每个地址由 4 个 token 组成。[Eq. (1)，p. 3；Sec. 2，p. 4；Appendix C.1，p. 19]

**容量、占用量和文本压缩是三件事。**49,152 是可能的槽位数；80 是新增符号种类，不是用 80 个 token 存下整个记忆库；经验全文仍保存在外部。摘要中的“百万级空间”不能直接当作该实验配置的实际规模。

### 2.3 离线构建：先提炼经验，再逐级量化残差

冷启动阶段让 StackPlanner 对训练问题进行多次尝试，提炼器对比成功、失败和未验证轨迹，保留适用条件、关键操作、验证步骤和失败恢复规则。没有环境成功信号的轨迹不自动标为成功。“对比提炼”指对照不同结果后生成文本，不是训练一个对比损失。[Appendix D.1，pp. 23–24]

随后用冻结编码器生成：

$$
e_i=f_{\mathrm{enc}}(p_{\mathrm{enc}}\oplus x_i)\in\mathbb R^d.
$$

前缀 $p_{\mathrm{enc}}$ 要求关注可复用的程序、前提、决策规则和失败恢复，而不是数据集名字或偶然实体。这里编码的是经验摘要；上下文已被提炼进摘要，不是把原查询和轨迹另行拼接后直接量化。[Eq. (2)，p. 4；Appendix C.1，p. 18；I.4，pp. 45–46]

残差量化的欧氏形式为：

$$
r_i^{(1)}=e_i,\qquad
s_i^\ell=\arg\min_{j\in[N_\ell]}
\left\|r_i^{(\ell)}-c_j^{(\ell)}\right\|_2^2,
\qquad
r_i^{(\ell+1)}=r_i^{(\ell)}-c_{s_i^\ell}^{(\ell)}.
$$

第一层解释粗粒度共同结构，下一层编码剩余残差，依次得到四个索引。不同经验若具有相同前缀，就共享相应的中心选择；落在同一个完整 SID 的多条经验合并为一份文本。[Eq. (3)，p. 4]

由递推式可以直接得到：

$$
\hat e_i=\sum_{\ell=1}^{L}c_{s_i^\ell}^{(\ell)},
\qquad e_i-\hat e_i=r_i^{(L+1)}.
$$

这重构的是嵌入，不是无损还原文本。残差分层也没有赋予“第一层=领域、第二层=工具”这样的固定语义。引言使用“正交分类轴”的直观说法，但 Appendix B.5、C.5 明确说明最终实现没有预定义语义轴。[pp. 17–18、23]

还有一个实现层面的区别：正文公式描述 Euclidean RQ-KMeans，Table 15 选中的实际配置标为 Weighted，$w=0.5$；当前文稿没有完整写出该变体的距离与中心更新公式，不能直接把两者当作同一算法配置。[Appendix C.1、G.1，pp. 18–20、29–30]

### 2.4 在线读取和写入都生成地址

寻址策略自回归生成：

$$
p_\theta(z\mid c)=\prod_{\ell=1}^{L}p_\theta(s^\ell\mid c,s^{1:\ell-1}).
$$

读取时 $c$ 是任务查询及推理上下文；写入时主要是新产生的执行轨迹。整个闭环为：

$$
\begin{aligned}
(z_r,\tilde x_r)&=\mathrm{MemRetriever}(q,\mathcal M),\\
(\hat y,\tau)&=\mathrm{StackPlanner}(q,\tilde x_r),\\
(o,z_e,\tilde x_e)&=\mathrm{MemEvolver}(\tau,\mathcal M).
\end{aligned}
$$

操作只有 `insert` 和 `revise`：前者写入空槽位；后者修改已有槽位。保持原文、合并新知识、删除内容，分别用不变、合并或空的 payload 实现，属于 `revise` 的结果。[Eq. (4)，p. 4；Appendix C.2，pp. 20–21]

更新规则可以写为：

$$
\mathcal M_{t+1}[z]=
\begin{cases}
\tilde x_{e,t},&z=z_{e,t},\\
\mathcal M_t[z],&z\ne z_{e,t}.
\end{cases}
$$

关键是：**更新后的文本不重新编码、量化或迁移地址。**码本固定之外，还必须保留原有 SID，才能得到这里的地址不变性。固定策略面对相同输入时，其生成分布也不因 payload 改写而直接改变；若前序执行改变了推理上下文，后续寻址仍可能变化。

**教学解释。**假设 $z=(3,8,4,2)$ 存着“无序选择使用组合数”。某次任务是从 12 人中选 5 人且其中 2 人固定，执行得到 $\binom{10}{3}=120$。MemEvolver 可以在同一地址补充“先扣除已固定成员，再计算剩余选择”，下一次查到这个地址就读取更具体的程序。这是对 Appendix H 数学案例的概括；地址不变不能保证补充规则对所有旧任务都适用。

### 2.5 三阶段学习与在线适应分别解决什么

**第一阶段：SID 对齐预训练。**三种前向映射 $q\to z$、$\tau\to z$、$x\to z$ 教会模型生成地址；两种反向映射 $z\to x$、$z\to d$ 让地址与经验文本、自然语言语义描述关联。正向损失是：

$$
\mathcal L_{\mathrm{SID}}(c,z)
=-\sum_{\ell=1}^{L}\log p_\theta(s^\ell\mid c,s^{1:\ell-1}),
\quad c\in\{q,\tau,x\}.
$$

总损失为五类映射的加权和。反向任务是模型根据 SID 生成文本，不会调用记忆工具；因此“对齐时生成经验”和“在线查表后改写”应区分。[Eqs. (5)–(6)，p. 5；Appendix B.5，p. 18]

**第二阶段：记忆操作中期训练。**用 ReAct 风格轨迹教会 MemRetriever 先生成 SID、调用工具、再改写经验；教会 MemEvolver 读轨迹、选择地址、比较新旧知识并提出更新。通过格式和正确性筛选后，使用更强教师的推理与输出示范进行 next-token 训练。这阶段学的是完整交互协议。[Sec. 3，p. 5]

**第三阶段：GRPO 后训练。**将行为质量与实际任务收益纳入奖励，而不是只要求模仿目标 SID。注意，表中的 GenMem / GenMem (RL) 区别指 **StackPlanner 是否经过 Harness-RL 训练**；不能把前者理解为整个记忆系统完全没有训练。[Sec. 4.1，pp. 6–7；Appendix F.1，p. 28]

**第四阶段：在线演化。**模型、编码器与码本均冻结，只读写外部经验。评测时先完成并评分当前任务，再更新记忆，更新提示不接收该问题的参考答案。[Sec. 3–4.3，pp. 5–8]

### 2.6 奖励为何同时看过程和结果

正文过程奖励由三部分组成：

$$
R_{\mathrm{process}}=R_{\mathrm{format}}+R_{\mathrm{strategy}}+R_{\mathrm{SID}}.
$$

格式项检查合法 SID 与输出结构，SID 项比较目标编码，策略项评估经验是否忠实且有用。对 MemEvolver，策略质量进一步考察提炼忠实度、写入位置和操作选择。训练时的策略裁判可接触参考答案，属于特权监督。[Eq. (7)，p. 5；Appendix C.3，pp. 21–22]

结果奖励对同一任务运行有记忆与无记忆两个版本：

$$
R_{\mathrm{out}}
=r_{\mathrm{task}}(\hat y_{\mathrm{mem}},y^\star)
-r_{\mathrm{task}}(\hat y_{\mathrm{no\text{-}mem}},y^\star)
+\alpha_{\mathrm{partial}}\mathbb I[\text{二者都正确}].
$$

对于二元成功指标，四种结果分别是：

| 有记忆 | 无记忆 | $R_{\mathrm{out}}$ | 含义 |
| --- | --- | --- | --- |
| 成功 | 失败 | $+1$ | 记忆带来任务收益 |
| 失败 | 成功 | $-1$ | 记忆干扰执行 |
| 成功 | 成功 | $\alpha_{\mathrm{partial}}$ | 保持正确仍有小额奖励 |
| 失败 | 失败 | $0$ | 没有观测到成功差异 |

这比只看有记忆版本的绝对分数更贴近记忆的边际价值。但在随机执行下，一对 rollout 的分数差仍带有采样波动。[Eq. (8)，p. 5；Appendix C.3.3，p. 22]

GRPO 对每个上下文采样 $G$ 个候选，使用组内归一化优势 $\hat A_i$，对 token 概率比 $\rho_{i,t}$ 做裁剪，并通过 $\beta D_{\mathrm{KL}}^{i,t}$ 限制偏离参考策略：

$$
\mathcal L_{\mathrm{GRPO}}=-\mathbb E\left[
\frac1G\sum_{i=1}^{G}\frac1{|u_i|}\sum_t
\left\{\min\bigl(\rho_{i,t}\hat A_i,
\operatorname{clip}(\rho_{i,t},1-\epsilon,1+\epsilon)\hat A_i\bigr)
-\beta D_{\mathrm{KL}}^{i,t}\right\}\right].
$$

直觉上，奖励较高的同组输出增加概率，较低的减少概率，裁剪和 KL 控制更新幅度。论文称 proxy / audit 两通道分别归一化优势，但当前正文没有完整展开二者的联合权重与调度；Appendix C.3 又出现省略 $R_{\mathrm{SID}}$ 的过程项写法，并明确说精确奖励缩放仍需训练实现确认。因此可以解释奖励意图，尚不足以仅凭文稿复现完全相同的目标。[Eq. (9)，p. 5；pp. 21–22]

## 三：实验——先分清比较对象与统计口径

### 3.1 四组评测回答不同问题

| 评测 | 比较目标与数据 | 指标，均越高越好 |
| --- | --- | --- |
| 主任务 | ALFWorld、WebShop；六项搜索 QA | 环境成功率；WebShop 任务分数与成功率；答案 token F1 |
| 跨 harness 迁移 | DeepSeek-V4-Flash 下的 StackPlanner、TCRAG、OpenHands | BrowseComp-Plus EM；DeepResearch Bench RACE；BIRD 执行准确率；SWE-bench Verified resolved rate |
| 记忆检索与演化 | Qwen3-Embedding-0.6B、TF-IDF、SkillRouter、GenMem | 候选命中率、重排后 Hit@1/5、任务准确率 |
| 符号信息 | GPQA，改变 SID 前缀深度与经验文本形式 | 选项回答准确率 |

主系统三个模块使用 Qwen2.5-7B-Instruct；迁移实验使用的 DeepSeek-V4-Flash 是单独设置。闭源模型提供能力参照；ReAct、Reflexion 等比较提示与经验使用；GRPO、Search-R1 等比较策略学习；SkillRL、SDAR 等比较经验增强的训练系统。[Sec. 4.1，p. 6；Table 10，p. 26]

QA 的 Avg. 是六个数据集的 F1 均值，不是所有问题混合后的准确率。检索 Hit@k 检查单个参考 SID 是否出现在前 $k$ 项，不是前 $k$ 条记忆中有多少比例真正有用。不同指标不宜混合成一个“平均准确率提升”。[Appendix E.2，pp. 26–27]

### 3.2 训练投入与比较边界

正文报告对齐预训练 17,465 步、batch 48；中期训练 157 步、有效 batch 32；记忆模块 GRPO 130 步。对齐和中期学习率为 $10^{-5}$、$2\times10^{-6}$，硬件为 8 张 A100 80GB，采用 ZeRO-3 和 vLLM。[pp. 6–7]

Appendix F.2 的 Table 11 则列出对齐学习率 $2\times10^{-5}$、GRPO 200 步，以及 GRPO 学习率 $3\times10^{-5}$、batch 256、组大小 8、KL 系数 0.04。前两项与正文不一致，复现时需要确认具体 checkpoint 对应的配置。[p. 28]

检索比较有明确的匹配预算：最多 50 个候选，再用 BGE 重排到 Top-5。主任务的大表未给每行结果的来源、相同 token / 工具预算或完整 checkpoint 细节，附录 F.1 也承认这些信息需要补齐。因此把结果视作作者报告的系统比较更合适，无法把全部收益独立归因于 SID 这一组件。

### 3.3 记忆来源决定“域外”的解释

预汇总经验共 138,243 条，包含 SOP 62,967 条、事实经验 58,892 条和技能 16,384 条；技能来自 171,820 条原始抓取记录的聚类去重。[Tables 5–6，pp. 24–25]

Table 6 同时列出 Bamboogle、MuSiQue、NQ、TriviaQA 和 GPQA 来源的经验，而 Table 2 把前四项称作域外。该标签可能指策略训练的任务划分，但不能据此认为记忆库从未接触过这些数据集。Appendix E.1 明确把具体 split 和与 seed bank 的重叠检查列为待补信息，因此当前证据不足以确认严格无重叠的域外评估，也不能反过来断言已经发生测试样本泄漏。[pp. 25–26]

经验规模的统计也没有完全对齐：D.2 报告最终 16,416 份摘要，但以 138,243 条输入除以 Table 8 的平均合并数 4.52，得到约 30.6K 个合并结果；Table 9 的 5,370 / 17.56% 同样隐含约 30.6K 的分母；49,152 个槽位乘 Table 15 的 62.22% 占用率亦约为 30.6K。它们可能对应不同阶段或不同子集，但文稿未解释映射，不能直接认定最终记忆库只有某一个确定占用数。[pp. 24–25、30；这些分母推算为本次分析]

## 四：结果——哪些模块有效，哪些证据尚不充分

### 4.1 主任务：完整 RL 系统收益明显，收益分布并不均匀

| 方法 | ALFWorld All 成功率 | WebShop Score | WebShop 成功率 |
| --- | ---: | ---: | ---: |
| ReAct | 31.2 | 46.2 | 19.5 |
| GenMem | 74.6 | 52.0 | 27.0 |
| GRPO | 77.6 | 79.3 | 66.1 |
| SkillRL | 89.9 | 85.2 | 72.7 |
| Skill0 | 89.8 | 85.3 | 71.9 |
| **GenMem (RL)** | **93.6** | **90.8** | **82.8** |

来源：Table 1，p. 7，单位为原表百分比量纲。与 SkillRL 相比，GenMem (RL) 的 ALFWorld 总成功率提高 **3.7 个百分点**，WebShop 成功率提高 **10.1 个百分点**。按子任务看，GenMem (RL) 在 Pick、Heat、Cool 并非最佳，因此总成功率领先不等于各类任务都领先。

| 方法 | 2Wiki | HotpotQA | Bamboogle | MuSiQue | NQ | TriviaQA | 平均 |
| --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: |
| ReAct | 27.51 | 42.81 | 27.63 | 19.34 | 30.01 | 54.55 | 33.6 |
| GenMem | 42.91 | 35.83 | 22.21 | 19.85 | 33.88 | 47.62 | 33.7 |
| SkillRL | 40.3 | 43.2 | 73.8 | 20.2 | 45.9 | 63.3 | 47.8 |
| SDAR | 48.4 | 43.8 | 73.0 | 19.6 | 46.3 | 63.5 | 49.1 |
| **GenMem (RL)** | **54.8** | **52.9** | 64.6 | **23.5** | **50.1** | **70.7** | **52.8** |

来源：Table 2，p. 8；答案 token F1，%。完整系统平均比 SDAR 高 **3.7 个百分点**，六项中五项达到表内最佳，Bamboogle 低于 SkillRL 的 73.8%。

更值得关注的是 GenMem 到 GenMem (RL) 的差距：平均 F1 从 33.7 升至 52.8。单看前者，HotpotQA、Bamboogle、TriviaQA 都低于 ReAct，分别低 6.98、5.42、6.93 个百分点。经验接口与执行策略的配合是主要条件；这些结果不支持“接入符号记忆即可稳定提升所有 QA”。

### 4.2 跨系统迁移：Research 与 SQL 较稳定，Search 接近持平

下表为加入 GenMem Skills 相对 skill-free 的**绝对分数差**，不是相对提升百分比。

| Harness | Search EM | Research RACE | SQL 执行准确率 | Code resolved rate |
| --- | ---: | ---: | ---: | ---: |
| StackPlanner | 0.00 | +2.07 | +5.00 | +1.00 |
| TCRAG | −1.00 | +2.04 | +1.00 | +1.00 |
| OpenHands | +1.00 | +2.12 | +2.00 | +2.00 |

来源：Table 3，p. 8，DeepSeek-V4-Flash 设置。例如 StackPlanner 的 BIRD 分数由 78.0 升至 83.0，Research 由 49.96 升至 52.03。三种 harness 都能利用部分经验，但 Search 的变化很小且方向不一致。这组结果直接检验的是导入技能文本的可迁移性，不宜自动视作三个 harness 都完成了完整 MemRetriever–MemEvolver 闭环的等价验证。

### 4.3 初始检索：生成候选和 BGE 重排共同贡献结果

| 方法，$t=0$ | Candidate Hit | 重排后 Hit@1 | 重排后 Hit@5 | Task ACC |
| --- | ---: | ---: | ---: | ---: |
| Qwen3-Embedding-0.6B | 8.41 | 0.19 | 2.89 | 28.53 |
| TF-IDF | 18.47 | 2.36 | 12.52 | 30.02 |
| SkillRouter | 15.79 | 6.62 | 10.28 | 28.74 |
| GenMem | 20.25 | 7.00 | 13.15 | 30.56 |

来源：Table 4，p. 9；百分比。GenMem 的 Top-5 比 TF-IDF 高 0.63 个百分点，比 SkillRouter 高 2.87 个百分点。绝对命中率仍然偏低，且最终排序依赖判别式重排；这里验证的是生成式候选寻址与统一重排配合的效果。

### 4.4 在线演化：长期趋势改善，但不是单调上升

评测将查询流和固定 probe 分开；每个问题先回答、评分，再写入经验；probe 只读。冻结模型与码本，内容检索基线在各 checkpoint 根据最新文本重建索引。[Sec. 4.3，pp. 7–8；Appendix E.3，p. 27]

| 方法 | Hit@5：$t=0\to9$ | Task ACC：$t=0\to9$ | ACC 绝对变化 |
| --- | --- | --- | ---: |
| Qwen3-Embedding | 2.89 → 2.52 | 28.53 → 27.98 | −0.55 |
| TF-IDF | 12.52 → 13.36 | 30.02 → 31.08 | +1.06 |
| SkillRouter | 10.28 → 9.72 | 28.74 → 28.95 | +0.21 |
| **GenMem** | **13.15 → 17.63** | **30.56 → 36.20** | **+5.64** |

来源：Table 4，p. 9。GenMem 候选命中率也从 20.25 升至 25.58。正文说“持续上升”，但 $t=2,5,8$ 相对上一个 checkpoint 均有回落；TF-IDF 在 $t=2,5$ 的 Hit@5 和 Task ACC 还超过 GenMem。准确说法是：**最终结果与整体趋势改善，过程中有波动。**

![图 3 的地址谱系与更新集中度](figures/fig-03-ab.png)

来源：Fig. 3(a,b)，p. 9，原图面板裁切。左图沿“早期问题 → 检索 SID → 演化 SID → 后续问题”阅读，绿色路径表示后续问题由错变对的示例。右图横轴为按活跃度排序的 SID 占比，纵轴为累计事件占比；橙色为更新目标选择，蓝色为实际内容变更，向左上方弯曲表明事件集中于少数地址。

![图 3 的写入类型与编辑距离](figures/fig-03-cd.png)

来源：Fig. 3(c,d)，p. 9。左图每根柱表示一个更新块：橙色为插入，蓝色为内容改写，灰色为保持内容或不写入。右图的归一化 Levenshtein 距离显示改写幅度较大。两图共同表明系统既会保持大量槽位，也确实进行实质更新。

本次分析认为，这组结果支持在固定接口下演化内容具有实用价值，但没有单独测量“更新造成查询转向错误记忆”的因果链，不能把其他方法的全部差异都归因于地址漂移。尤其稳定地址的向量检索变体、相同训练监督下的检索器还没有被充分隔离比较。

### 4.5 GPQA：SID 有信息量，组合泛化仍是开放问题

![GPQA 的 SID 深度与文本比较](figures/fig-04-gpqa.png)

来源：Fig. 4，p. 9。横轴依次为原查询、1–4 层 SID 前缀、查表后改写的文本、直接取出的文本；纵轴是 GPQA 准确率。三条线对应 beam size $k=1,5,10$。多地址输入按层组织，即先放所有第一层 token，再放第二层。

| 输入 | 准确率 | 解释 |
| --- | --- | --- |
| 仅原查询 | 48.32% | 不加入 SID 或经验 |
| 完整 SID，无经验文本 | 54.06%–54.66% | 相对原查询提高 5.74–6.34 个百分点 |
| SID 查表后改写 | 55.65%–56.91% | 实际读取了外部经验 |
| SID 直接查表文本 | 56.09%–56.63% | $k=1,5$ 时优于改写，$k=10$ 时反之 |

来源：Sec. 5、Appendix G.5，pp. 9、37–38。完整 SID 带来的收益支持其已经与任务相关经验建立关联；文本额外提供细节。图中的 “Symbolic Composition” 标题不能替代组合泛化实验：没有保留未见 SID 组合的评测，也没有打乱 SID、重分配 token 等对照。作者在 G.5 同样承认，独立语义轴和未见组合泛化尚未建立。

Appendix H 还给出两类定性例子：融合两条来源核验经验，生成更完整的交叉验证程序；把人物职业识别任务拆解为实体消歧与职业抽取两类子技能。它们展示了经由 SID 接口整合经验的操作方式，但没有对应的保留组合测试和量化成功率。部分示例地址还含有 $L_2=23$、$L_3=14$，超出最终 $(48,16,8,8)$ 配置的范围，案例与最终码本的对应关系没有说明。[pp. 38–39]

### 4.6 消融：进化、RL 与候选搜索都重要

这组实验是 **200 个样本、3 轮完整演化**，与主表的完整 benchmark 分数口径不同。

| 设置 | Avg. Accuracy | Token F1 | 对完整版本的 ACC 差 |
| --- | ---: | ---: | ---: |
| 完整 GenMem | 49.5 | 52.1 | — |
| 冻结记忆库 | 46.5 | 46.8 | −3.0 |
| TF-IDF 检索 + 演化 | 40.5 | 43.4 | −9.0 |
| Embedding 检索 + 演化 | 37.0 | 41.2 | −12.5 |
| 不读取记忆 | 41.0 | 45.2 | −8.5 |
| 记忆模块不做 RL 后训练 | 38.5 | 42.6 | −11.0 |
| 贪心生成 SID | 42.0 | 45.7 | −7.5 |

来源：Table 23，p. 37。表内两行写成 `w/o discriminative retrieval`，但行描述和正文明确表示**用判别式检索替代生成式寻址**，此处按实际变体解释。

冻结库带来 3.0 个百分点准确率损失，直接支持在线更新的贡献；去掉记忆模块 RL 的损失更大，说明写得符合格式还不够。Embedding + 演化甚至低于无记忆版本，说明错误经验会干扰执行。消融提供组件作用线索，但去掉 RL、移除记忆或更换解码会同时改变多个中间行为，不能把各项差值简单相加。

### 4.7 附录检索分析揭示了中期训练的代价

| 配置 | 平均候选数 | Beam R@50 | 重排 HR@5 |
| --- | ---: | ---: | ---: |
| PT，3 层 | 49.98 | 20.80 | 4.85 |
| PT，4 层 | 49.57 | 20.25 | 13.15 |
| MT，3 层 MemRetriever | 29.43 | 10.85 | 5.35 |
| MT，4 层，完整序列 beam | 33.72 | 4.90 | 3.10 |
| MT，4 层，仅 SID beam | 50.00 | 6.80 | 3.75 |
| MT，4 层 MemEvolver | 50.00 | 5.31 | 1.36 |

来源：Table 18，p. 31。PT 为对齐预训练，MT 为记忆操作中期训练；前五行各 2,000 个样本，最后一行 735 个。G.2 明确说这些检索评估样本来自均匀抽取的训练例，不能当作独立测试集泛化分数。[p. 30]

四层 MemRetriever 的 HR@5 从 PT 的 13.15 降至 MT SID-only 的 3.75；只在 SID 段做 beam 能修复一部分候选数量损失，但没有恢复 PT 水平。因此，ReAct 交互训练与精确地址预测之间存在实际张力。没有匹配的最终 RL 检索表，不能由训练奖励上升直接推定这部分退化已被完全恢复。Table 4 的初始 GenMem 检索数字恰与 PT-4L 行一致，也进一步要求明确各实验使用的 checkpoint。

Table 21 的累计 Top-5 前缀命中率显示，MT MemRetriever 从第一层 40.90% 逐层降到完整地址的 3.75%；MemEvolver 从 40.41% 降到 1.36%。后层独立 token 命中较高并不意味着四个 token 能同时对齐。[p. 33]

解码预算也有明显取舍：Table 19 中 deterministic beam 从 5 增到 20，Recall@5 只由 7.93% 增至 8.53%，报告延迟却由 121.0 ms 增至 406.1 ms。这是该 SID 解码实验的延迟，不是完整多智能体任务延迟。[p. 32]

### 4.8 量化与训练曲线：选择四层是词表与误差的折中

在 40 种架构、3 种距离设置的比较中，Weighted 设置平均叶占用率 49.15%，Euclidean 为 14.92%，重构损失分别为 $3.32\times10^{-4}$、$3.38\times10^{-4}$。这里的标准差是不同架构间的变化，不是多随机种子不确定性。[Table 14，p. 29]

选定的四层配置用 80 个符号、重构损失 $3.48\times10^{-4}$、叶占用率 62.22%；同容量的三层 $(128,24,16)$ 用 168 个符号、损失 $3.31\times10^{-4}$、占用率 64.25%。四层的优势是专用词表更小，而非所有量化指标都最好。[Table 15，p. 30]

前缀提示消融使用的是旧三层 $(48,24,24)$：报告重构损失由 0.000392 降至 0.000332，但叶占用率由 23.93% 降至 23.75%。不能把这个结果直接写成最终四层系统的下游收益。[Table 12，p. 29]

![三层与四层的对齐训练损失](figures/fig-07-alignment-loss.png)

来源：Fig. 7，p. 34。横轴训练步数，纵轴训练损失，曲线为 500 步平滑均值。四层红线早期高于三层蓝线，约 1,100 步后才降到其下方，末期更低；原文“全程更低”的描述与图不符。且两种配置同时改变了容量、token 数和每层分类大小，无法仅由这张图归因于层数。

Fig. 8 各层归一化边际熵约为 0.9734、0.9900、0.9967、0.9943，说明各层单独看使用较分散；边际均衡不等于组合均衡或各层独立。附录 C.1 将基于熵的 ICR 定义为 $H_{\mathrm{joint}}/\sum_\ell H_\ell$，但明确说它与原配置比较中的旧 ICR 分数不同；Table 12 中大于 1 的旧 ICR 不应代入该熵公式。[pp. 19–20、29、34]

Fig. 9 的中期训练损失下降，Figs. 10–11 的部分有效输出率和奖励随训练提升，但 SID 匹配和结果奖励存在较大波动。Fig. 12 是另一组 StackPlanner 训练诊断：Search 使用 oracle memory，WebShop 使用 oracle actions，ALFWorld 训练 Interactor 且混合 oracle / 无记忆 rollout。它们不能替代完整系统在保留集上的成绩。[Appendix G.3，pp. 33–36]

## 五：结论——最可复用的是稳定接口，最需要补强的是证据链

### 5.1 方法启发

GenMem 提供了一个清晰的系统设计：**学习一个简短、可组合表示的地址空间，把后续经验改进放到地址背后的文本中。**读取与更新共用 SID，使记忆管理可以用语言模型的序列生成能力训练；过程奖励降低监督稀疏性，带与不带记忆的对照奖励把训练导向任务收益。

这种设计适合功能角色相对稳定、经验内容需要反复修订的长期智能体。实际实现时，地址压缩节省的是寻址词表，不会消除 LLM 解码、候选重排、查表文本、经验重写和双 rollout 的开销。附录给出的离线量化复杂度 $O(d\sum_\ell N_\ell)$ 也不代表在线生成地址或端到端执行成本。[Appendix C.1，p. 20]

### 5.2 固定地址会把风险转移到槽位语义维护

保持 SID 解决了“更新后地址迁移”的问题，但一个槽位若被新经验改写成不同含义，旧查询仍可能访问它。码本冻结还意味着新领域必须映射到已有空间。作者提出适应性码本分配与主动回访长尾子树作为方向；如何扩容而不破坏已有寻址，还需要额外机制。[Sec. 6，pp. 9–10]

一个具体例子来自 Appendix H 的支付案例：当前题目可以用依次支付得到正确答案，但新插入的经验把“double / half”概括成总是以前一次付款为基准。**本次分析**：该规则不能推广到比例关系指向更早付款或初始金额的题目。正确答案仍可能产生过度概括的经验，说明忠实提炼和后续验证对于稳定地址同样关键。[p. 41]

### 5.3 对贡献与可信范围的判断

可以较有把握地接受的是：SID 提供了明确的稳定读写接口；作者报告的完整 RL 系统在多个任务上表现较强；200 样本消融和在线 checkpoint 比较支持记忆更新、策略学习及搜索各自具有作用。

仍需补强的主要是三件事：明确记忆来源与评测 split 的重叠关系，以解释域外和 GPQA 结果；统一训练配置、奖励公式与 checkpoint，让“检索退化—RL 恢复—下游提高”的链条可以追踪；通过未见组合、打乱 token 和匹配监督的稳定检索基线，检验符号组合性及寻址设计的独立贡献。这些问题决定了论文主张能推进到什么程度，而不改变其稳定接口设计本身的启发。