GenMem：用生成式符号地址管理持续演化的智能体记忆
论文：GenMem: Generative Symbolic Memory for Self-Evolving Harness
作者：Xinke Jiang、Tao Feng、Weixuan Xu、Zhixin Zhang、Zhibang Yang、Wentao Zhang、Runchuan Zhu、Xu Chu、Junfeng Zhao、Yasha Wang
版本：arXiv:2609.34633v1，2026-09-28 提交；本次获取与研读日期：2026-10-19。
原文：arXiv · 本地 PDF · 英文汇报 PDF · 可编辑 TeX。下文页码均为从 1 开始的 PDF 页码，与本文印刷页码一致。
论文总览
GenMem 研究的是智能体的外部经验记忆：把过去任务中有效的操作流程、适用条件和失败教训保存下来，供下一次执行时调用，并在执行后改进。核心问题是，经验文本不断改写时，检索策略怎样继续找到同一个功能槽位。
作者把记忆项写成“符号地址 SID + 可修改的文本”，用模型直接生成 SID，统一读和写的目标选择。MemRetriever 负责寻址、读取和面向当前任务的改写；StackPlanner 负责执行；MemEvolver 根据执行轨迹选择地址并更新经验。在线阶段冻结模型和码本，适应发生在外部文本中。[Sec. 2–3，pp. 3–6]
论文最有价值的设计是将可学习的寻址接口与可更新的经验内容分开。完整的 GenMem (RL) 在 ALFWorld 总成功率、WebShop 成功率和六项 QA 平均 F1 上分别报告 93.6%、82.8% 和 52.8%。但这些是多阶段训练后的系统结果；未进行 StackPlanner 的 Harness-RL 训练时，QA 平均 F1 只有 33.7%，与 ReAct 的 33.6% 接近。[Tables 1–2，pp. 7–8]
读这篇论文需要把三层主张分开：固定地址是由更新规则直接保证的；更新记忆能提高任务表现需要实验验证；SID 具有独立语义轴或未见组合的泛化能力，则还没有得到当前实验的充分支持。正文第 5 节及附录也明确收窄了最后一项解释。
结构地图
| 原文章节 | 主要作用 | PDF 定位 |
|---|---|---|
| 1 Introduction | 经验稀疏性、内容更新引起的寻址漂移 | pp. 1–3，Fig. 1 |
| 2 GenMem: Symbolic Memory Addressing System | SID、离线残差量化、读写闭环 | pp. 3–4，Fig. 2，Eqs. (1)–(4) |
| 3 Memory Policy Optimization and Self-Evolution | 对齐、中期训练、GRPO、在线更新 | pp. 4–6，Eqs. (5)–(9) |
| 4 Experiments；4.1 / 4.2 / 4.3 | 设置、主结果、在线演化 | pp. 6–9，Tables 1–4，Fig. 3 |
| 5 SIDs as Symbolic Language: Composition & Emergent Reasoning | GPQA 的 SID 前缀及文本输入比较 | p. 9，Fig. 4 |
| 6 Conclusion, Limitations and Future Work | 长尾地址、冷启动噪声与未来方向 | pp. 9–10 |
| A Related Work；B Formal Foundations and SID Representation | 与记忆系统、生成式检索的关系；寻址与语义的区别 | pp. 15–18 |
| C Additional Method Details；D Memory Bank Construction and Statistics | 量化指标、奖励、更新规则与经验来源 | pp. 18–25，Tables 5–9 |
| E Experimental Datasets and Evaluation Protocols；F Baselines, Implementation, and Training Details | 指标、在线协议、比较条件与超参数 | pp. 25–28，Tables 10–11 |
| G Additional Experiments and Analysis | 量化设置、检索阶段分析、训练曲线、消融、GPQA 协议 | pp. 28–38，Tables 12–23，Figs. 7–12 |
| H Case Studies；I Full Prompt Specifications | 具体读写案例及运行提示 | pp. 38–48 |
一：动机——经验有用性与文本相似度并不相同
1.1 经验记忆保存的是可执行的做法
知识型检索常问“哪段文字包含答案”；经验检索更关心“什么做法能改善当前决策”。两个任务都涉及人物日期，不代表应该调用同一种策略：一个需要识别同名人物，另一个需要解决冲突来源。词面相似度可能很高，但决定是否成功的子技能不同。
作者从四个方面描述稀疏性：值得保留的轨迹少；不同经验共享子技能；一次任务只需要很小一部分经验；持续写入也主要集中在少数地址。这些是构建设计动机的经验性假设。附录 B.1 的形式化没有给出经验分布低维性的独立定理。[pp. 15–16]
1.2 更新内容会影响以后谁能找到它
若检索分数依赖当前文本的向量 $f_m(x_i)$，将 $x_i$ 改写为 $x_i'$ 后重新建索引，会改变同一查询对该记忆的排序，即使其功能没变。GenMem 让检索模型学习“任务上下文 → 功能地址”，再把该地址绑定到最新的文本。
这里应区分存储 ID 稳定和查询到 ID 的策略稳定。向量数据库也可以保留固定主键；GenMem 的特点是直接生成结构化主键，并让读写共用该接口。附录 B.2 还明确指出，判别式检索同样可以使用任务反馈训练，符号地址本身不会自动使检索更有用。[p. 16]
二：方法——从残差量化到稳定的读写接口
2.1 数据流及关键符号
来源：Fig. 2，p. 3。上部左侧是经验采集和 SID 构建，中部是对齐与示范训练；下部是两个记忆模块的策略训练；右侧是在线读写闭环。图中的三层树是示意，最终实验配置为四层。
| 符号 | 含义 |
|---|---|
| $q,\tau,\hat y$ | 查询、执行轨迹、任务答案 |
| $\mathcal M$ | 外部记忆库；每个已占用地址保存一份当前经验文本 |
| $x_i,z_i$ | 经验文本和对应 SID |
| $L,N_\ell$ | 地址层数、第 $\ell$ 层可用符号数量 |
| $e_i,r_i^{(\ell)},c_j^{(\ell)}\in\mathbb R^d$ | 经验嵌入、当前残差、第 $\ell$ 层的码本中心 |
| $\tilde x_r,\tilde x_e$ | 为当前任务改写的支持文本、准备写回的经验文本 |
2.2 80 个专用 token 表示 49,152 个可能地址
SID 是按层排列的离散元组：
其中各层 token 身份不同，即使数字索引相同也不是同一个 token。地址容量与专用词表大小分别为：
最终配置为 $(48,16,8,8)$，故 $K_{\mathrm{addr}}=49,152$、$V_{\mathrm{SID}}=80$，每个地址由 4 个 token 组成。[Eq. (1)，p. 3；Sec. 2，p. 4；Appendix C.1，p. 19]
**容量、占用量和文本压缩是三件事。**49,152 是可能的槽位数；80 是新增符号种类，不是用 80 个 token 存下整个记忆库；经验全文仍保存在外部。摘要中的“百万级空间”不能直接当作该实验配置的实际规模。
2.3 离线构建：先提炼经验，再逐级量化残差
冷启动阶段让 StackPlanner 对训练问题进行多次尝试，提炼器对比成功、失败和未验证轨迹，保留适用条件、关键操作、验证步骤和失败恢复规则。没有环境成功信号的轨迹不自动标为成功。“对比提炼”指对照不同结果后生成文本，不是训练一个对比损失。[Appendix D.1，pp. 23–24]
随后用冻结编码器生成：
前缀 $p_{\mathrm{enc}}$ 要求关注可复用的程序、前提、决策规则和失败恢复，而不是数据集名字或偶然实体。这里编码的是经验摘要；上下文已被提炼进摘要，不是把原查询和轨迹另行拼接后直接量化。[Eq. (2)，p. 4；Appendix C.1，p. 18；I.4，pp. 45–46]
残差量化的欧氏形式为：
第一层解释粗粒度共同结构，下一层编码剩余残差，依次得到四个索引。不同经验若具有相同前缀，就共享相应的中心选择；落在同一个完整 SID 的多条经验合并为一份文本。[Eq. (3)，p. 4]
由递推式可以直接得到：
这重构的是嵌入，不是无损还原文本。残差分层也没有赋予“第一层=领域、第二层=工具”这样的固定语义。引言使用“正交分类轴”的直观说法，但 Appendix B.5、C.5 明确说明最终实现没有预定义语义轴。[pp. 17–18、23]
还有一个实现层面的区别：正文公式描述 Euclidean RQ-KMeans，Table 15 选中的实际配置标为 Weighted，$w=0.5$；当前文稿没有完整写出该变体的距离与中心更新公式，不能直接把两者当作同一算法配置。[Appendix C.1、G.1，pp. 18–20、29–30]
2.4 在线读取和写入都生成地址
寻址策略自回归生成：
读取时 $c$ 是任务查询及推理上下文；写入时主要是新产生的执行轨迹。整个闭环为：
操作只有 insert 和 revise：前者写入空槽位；后者修改已有槽位。保持原文、合并新知识、删除内容，分别用不变、合并或空的 payload 实现，属于 revise 的结果。[Eq. (4)，p. 4；Appendix C.2，pp. 20–21]
更新规则可以写为：
关键是：**更新后的文本不重新编码、量化或迁移地址。**码本固定之外，还必须保留原有 SID，才能得到这里的地址不变性。固定策略面对相同输入时，其生成分布也不因 payload 改写而直接改变；若前序执行改变了推理上下文，后续寻址仍可能变化。
**教学解释。**假设 $z=(3,8,4,2)$ 存着“无序选择使用组合数”。某次任务是从 12 人中选 5 人且其中 2 人固定，执行得到 $\binom{10}{3}=120$。MemEvolver 可以在同一地址补充“先扣除已固定成员，再计算剩余选择”，下一次查到这个地址就读取更具体的程序。这是对 Appendix H 数学案例的概括；地址不变不能保证补充规则对所有旧任务都适用。
2.5 三阶段学习与在线适应分别解决什么
**第一阶段：SID 对齐预训练。**三种前向映射 $q\to z$、$\tau\to z$、$x\to z$ 教会模型生成地址；两种反向映射 $z\to x$、$z\to d$ 让地址与经验文本、自然语言语义描述关联。正向损失是：
总损失为五类映射的加权和。反向任务是模型根据 SID 生成文本，不会调用记忆工具；因此“对齐时生成经验”和“在线查表后改写”应区分。[Eqs. (5)–(6)，p. 5；Appendix B.5，p. 18]
**第二阶段：记忆操作中期训练。**用 ReAct 风格轨迹教会 MemRetriever 先生成 SID、调用工具、再改写经验；教会 MemEvolver 读轨迹、选择地址、比较新旧知识并提出更新。通过格式和正确性筛选后，使用更强教师的推理与输出示范进行 next-token 训练。这阶段学的是完整交互协议。[Sec. 3，p. 5]
**第三阶段：GRPO 后训练。**将行为质量与实际任务收益纳入奖励，而不是只要求模仿目标 SID。注意，表中的 GenMem / GenMem (RL) 区别指 StackPlanner 是否经过 Harness-RL 训练；不能把前者理解为整个记忆系统完全没有训练。[Sec. 4.1，pp. 6–7；Appendix F.1，p. 28]
**第四阶段：在线演化。**模型、编码器与码本均冻结，只读写外部经验。评测时先完成并评分当前任务，再更新记忆，更新提示不接收该问题的参考答案。[Sec. 3–4.3，pp. 5–8]
2.6 奖励为何同时看过程和结果
正文过程奖励由三部分组成：
格式项检查合法 SID 与输出结构，SID 项比较目标编码，策略项评估经验是否忠实且有用。对 MemEvolver，策略质量进一步考察提炼忠实度、写入位置和操作选择。训练时的策略裁判可接触参考答案，属于特权监督。[Eq. (7)，p. 5；Appendix C.3，pp. 21–22]
结果奖励对同一任务运行有记忆与无记忆两个版本：
对于二元成功指标，四种结果分别是：
| 有记忆 | 无记忆 | $R_{\mathrm{out}}$ | 含义 |
|---|---|---|---|
| 成功 | 失败 | $+1$ | 记忆带来任务收益 |
| 失败 | 成功 | $-1$ | 记忆干扰执行 |
| 成功 | 成功 | $\alpha_{\mathrm{partial}}$ | 保持正确仍有小额奖励 |
| 失败 | 失败 | $0$ | 没有观测到成功差异 |
这比只看有记忆版本的绝对分数更贴近记忆的边际价值。但在随机执行下，一对 rollout 的分数差仍带有采样波动。[Eq. (8)，p. 5；Appendix C.3.3，p. 22]
GRPO 对每个上下文采样 $G$ 个候选，使用组内归一化优势 $\hat A_i$，对 token 概率比 $\rho_{i,t}$ 做裁剪，并通过 $\beta D_{\mathrm{KL}}^{i,t}$ 限制偏离参考策略：
直觉上，奖励较高的同组输出增加概率，较低的减少概率，裁剪和 KL 控制更新幅度。论文称 proxy / audit 两通道分别归一化优势，但当前正文没有完整展开二者的联合权重与调度；Appendix C.3 又出现省略 $R_{\mathrm{SID}}$ 的过程项写法，并明确说精确奖励缩放仍需训练实现确认。因此可以解释奖励意图，尚不足以仅凭文稿复现完全相同的目标。[Eq. (9)，p. 5；pp. 21–22]
三：实验——先分清比较对象与统计口径
3.1 四组评测回答不同问题
| 评测 | 比较目标与数据 | 指标，均越高越好 |
|---|---|---|
| 主任务 | ALFWorld、WebShop；六项搜索 QA | 环境成功率；WebShop 任务分数与成功率；答案 token F1 |
| 跨 harness 迁移 | DeepSeek-V4-Flash 下的 StackPlanner、TCRAG、OpenHands | BrowseComp-Plus EM；DeepResearch Bench RACE；BIRD 执行准确率；SWE-bench Verified resolved rate |
| 记忆检索与演化 | Qwen3-Embedding-0.6B、TF-IDF、SkillRouter、GenMem | 候选命中率、重排后 Hit@1/5、任务准确率 |
| 符号信息 | GPQA，改变 SID 前缀深度与经验文本形式 | 选项回答准确率 |
主系统三个模块使用 Qwen2.5-7B-Instruct；迁移实验使用的 DeepSeek-V4-Flash 是单独设置。闭源模型提供能力参照；ReAct、Reflexion 等比较提示与经验使用；GRPO、Search-R1 等比较策略学习；SkillRL、SDAR 等比较经验增强的训练系统。[Sec. 4.1，p. 6；Table 10，p. 26]
QA 的 Avg. 是六个数据集的 F1 均值，不是所有问题混合后的准确率。检索 Hit@k 检查单个参考 SID 是否出现在前 $k$ 项，不是前 $k$ 条记忆中有多少比例真正有用。不同指标不宜混合成一个“平均准确率提升”。[Appendix E.2，pp. 26–27]
3.2 训练投入与比较边界
正文报告对齐预训练 17,465 步、batch 48；中期训练 157 步、有效 batch 32；记忆模块 GRPO 130 步。对齐和中期学习率为 $10^{-5}$、$2\times10^{-6}$，硬件为 8 张 A100 80GB，采用 ZeRO-3 和 vLLM。[pp. 6–7]
Appendix F.2 的 Table 11 则列出对齐学习率 $2\times10^{-5}$、GRPO 200 步，以及 GRPO 学习率 $3\times10^{-5}$、batch 256、组大小 8、KL 系数 0.04。前两项与正文不一致，复现时需要确认具体 checkpoint 对应的配置。[p. 28]
检索比较有明确的匹配预算：最多 50 个候选，再用 BGE 重排到 Top-5。主任务的大表未给每行结果的来源、相同 token / 工具预算或完整 checkpoint 细节，附录 F.1 也承认这些信息需要补齐。因此把结果视作作者报告的系统比较更合适，无法把全部收益独立归因于 SID 这一组件。
3.3 记忆来源决定“域外”的解释
预汇总经验共 138,243 条，包含 SOP 62,967 条、事实经验 58,892 条和技能 16,384 条；技能来自 171,820 条原始抓取记录的聚类去重。[Tables 5–6，pp. 24–25]
Table 6 同时列出 Bamboogle、MuSiQue、NQ、TriviaQA 和 GPQA 来源的经验，而 Table 2 把前四项称作域外。该标签可能指策略训练的任务划分，但不能据此认为记忆库从未接触过这些数据集。Appendix E.1 明确把具体 split 和与 seed bank 的重叠检查列为待补信息，因此当前证据不足以确认严格无重叠的域外评估，也不能反过来断言已经发生测试样本泄漏。[pp. 25–26]
经验规模的统计也没有完全对齐：D.2 报告最终 16,416 份摘要，但以 138,243 条输入除以 Table 8 的平均合并数 4.52，得到约 30.6K 个合并结果；Table 9 的 5,370 / 17.56% 同样隐含约 30.6K 的分母；49,152 个槽位乘 Table 15 的 62.22% 占用率亦约为 30.6K。它们可能对应不同阶段或不同子集，但文稿未解释映射，不能直接认定最终记忆库只有某一个确定占用数。[pp. 24–25、30；这些分母推算为本次分析]
四：结果——哪些模块有效，哪些证据尚不充分
4.1 主任务：完整 RL 系统收益明显，收益分布并不均匀
| 方法 | ALFWorld All 成功率 | WebShop Score | WebShop 成功率 |
|---|---|---|---|
| ReAct | 31.2 | 46.2 | 19.5 |
| GenMem | 74.6 | 52.0 | 27.0 |
| GRPO | 77.6 | 79.3 | 66.1 |
| SkillRL | 89.9 | 85.2 | 72.7 |
| Skill0 | 89.8 | 85.3 | 71.9 |
| GenMem (RL) | 93.6 | 90.8 | 82.8 |
来源：Table 1，p. 7，单位为原表百分比量纲。与 SkillRL 相比，GenMem (RL) 的 ALFWorld 总成功率提高 3.7 个百分点，WebShop 成功率提高 10.1 个百分点。按子任务看，GenMem (RL) 在 Pick、Heat、Cool 并非最佳，因此总成功率领先不等于各类任务都领先。
| 方法 | 2Wiki | HotpotQA | Bamboogle | MuSiQue | NQ | TriviaQA | 平均 |
|---|---|---|---|---|---|---|---|
| ReAct | 27.51 | 42.81 | 27.63 | 19.34 | 30.01 | 54.55 | 33.6 |
| GenMem | 42.91 | 35.83 | 22.21 | 19.85 | 33.88 | 47.62 | 33.7 |
| SkillRL | 40.3 | 43.2 | 73.8 | 20.2 | 45.9 | 63.3 | 47.8 |
| SDAR | 48.4 | 43.8 | 73.0 | 19.6 | 46.3 | 63.5 | 49.1 |
| GenMem (RL) | 54.8 | 52.9 | 64.6 | 23.5 | 50.1 | 70.7 | 52.8 |
来源：Table 2，p. 8；答案 token F1，%。完整系统平均比 SDAR 高 3.7 个百分点，六项中五项达到表内最佳，Bamboogle 低于 SkillRL 的 73.8%。
更值得关注的是 GenMem 到 GenMem (RL) 的差距：平均 F1 从 33.7 升至 52.8。单看前者，HotpotQA、Bamboogle、TriviaQA 都低于 ReAct，分别低 6.98、5.42、6.93 个百分点。经验接口与执行策略的配合是主要条件；这些结果不支持“接入符号记忆即可稳定提升所有 QA”。
4.2 跨系统迁移：Research 与 SQL 较稳定，Search 接近持平
下表为加入 GenMem Skills 相对 skill-free 的绝对分数差，不是相对提升百分比。
| Harness | Search EM | Research RACE | SQL 执行准确率 | Code resolved rate |
|---|---|---|---|---|
| StackPlanner | 0.00 | +2.07 | +5.00 | +1.00 |
| TCRAG | −1.00 | +2.04 | +1.00 | +1.00 |
| OpenHands | +1.00 | +2.12 | +2.00 | +2.00 |
来源：Table 3，p. 8，DeepSeek-V4-Flash 设置。例如 StackPlanner 的 BIRD 分数由 78.0 升至 83.0，Research 由 49.96 升至 52.03。三种 harness 都能利用部分经验，但 Search 的变化很小且方向不一致。这组结果直接检验的是导入技能文本的可迁移性，不宜自动视作三个 harness 都完成了完整 MemRetriever–MemEvolver 闭环的等价验证。
4.3 初始检索：生成候选和 BGE 重排共同贡献结果
| 方法，$t=0$ | Candidate Hit | 重排后 Hit@1 | 重排后 Hit@5 | Task ACC |
|---|---|---|---|---|
| Qwen3-Embedding-0.6B | 8.41 | 0.19 | 2.89 | 28.53 |
| TF-IDF | 18.47 | 2.36 | 12.52 | 30.02 |
| SkillRouter | 15.79 | 6.62 | 10.28 | 28.74 |
| GenMem | 20.25 | 7.00 | 13.15 | 30.56 |
来源：Table 4，p. 9；百分比。GenMem 的 Top-5 比 TF-IDF 高 0.63 个百分点，比 SkillRouter 高 2.87 个百分点。绝对命中率仍然偏低，且最终排序依赖判别式重排；这里验证的是生成式候选寻址与统一重排配合的效果。
4.4 在线演化：长期趋势改善，但不是单调上升
评测将查询流和固定 probe 分开；每个问题先回答、评分，再写入经验；probe 只读。冻结模型与码本，内容检索基线在各 checkpoint 根据最新文本重建索引。[Sec. 4.3，pp. 7–8；Appendix E.3，p. 27]
| 方法 | Hit@5：$t=0\to9$ | Task ACC：$t=0\to9$ | ACC 绝对变化 |
|---|---|---|---|
| Qwen3-Embedding | 2.89 → 2.52 | 28.53 → 27.98 | −0.55 |
| TF-IDF | 12.52 → 13.36 | 30.02 → 31.08 | +1.06 |
| SkillRouter | 10.28 → 9.72 | 28.74 → 28.95 | +0.21 |
| GenMem | 13.15 → 17.63 | 30.56 → 36.20 | +5.64 |
来源：Table 4，p. 9。GenMem 候选命中率也从 20.25 升至 25.58。正文说“持续上升”，但 $t=2,5,8$ 相对上一个 checkpoint 均有回落；TF-IDF 在 $t=2,5$ 的 Hit@5 和 Task ACC 还超过 GenMem。准确说法是：最终结果与整体趋势改善，过程中有波动。
来源：Fig. 3(a,b)，p. 9，原图面板裁切。左图沿“早期问题 → 检索 SID → 演化 SID → 后续问题”阅读，绿色路径表示后续问题由错变对的示例。右图横轴为按活跃度排序的 SID 占比，纵轴为累计事件占比；橙色为更新目标选择，蓝色为实际内容变更，向左上方弯曲表明事件集中于少数地址。
来源：Fig. 3(c,d)，p. 9。左图每根柱表示一个更新块：橙色为插入，蓝色为内容改写，灰色为保持内容或不写入。右图的归一化 Levenshtein 距离显示改写幅度较大。两图共同表明系统既会保持大量槽位，也确实进行实质更新。
本次分析认为，这组结果支持在固定接口下演化内容具有实用价值，但没有单独测量“更新造成查询转向错误记忆”的因果链，不能把其他方法的全部差异都归因于地址漂移。尤其稳定地址的向量检索变体、相同训练监督下的检索器还没有被充分隔离比较。
4.5 GPQA：SID 有信息量，组合泛化仍是开放问题
来源：Fig. 4，p. 9。横轴依次为原查询、1–4 层 SID 前缀、查表后改写的文本、直接取出的文本；纵轴是 GPQA 准确率。三条线对应 beam size $k=1,5,10$。多地址输入按层组织，即先放所有第一层 token，再放第二层。
| 输入 | 准确率 | 解释 |
|---|---|---|
| 仅原查询 | 48.32% | 不加入 SID 或经验 |
| 完整 SID，无经验文本 | 54.06%–54.66% | 相对原查询提高 5.74–6.34 个百分点 |
| SID 查表后改写 | 55.65%–56.91% | 实际读取了外部经验 |
| SID 直接查表文本 | 56.09%–56.63% | $k=1,5$ 时优于改写，$k=10$ 时反之 |
来源：Sec. 5、Appendix G.5，pp. 9、37–38。完整 SID 带来的收益支持其已经与任务相关经验建立关联；文本额外提供细节。图中的 “Symbolic Composition” 标题不能替代组合泛化实验：没有保留未见 SID 组合的评测，也没有打乱 SID、重分配 token 等对照。作者在 G.5 同样承认，独立语义轴和未见组合泛化尚未建立。
Appendix H 还给出两类定性例子：融合两条来源核验经验，生成更完整的交叉验证程序；把人物职业识别任务拆解为实体消歧与职业抽取两类子技能。它们展示了经由 SID 接口整合经验的操作方式，但没有对应的保留组合测试和量化成功率。部分示例地址还含有 $L_2=23$、$L_3=14$，超出最终 $(48,16,8,8)$ 配置的范围，案例与最终码本的对应关系没有说明。[pp. 38–39]
4.6 消融：进化、RL 与候选搜索都重要
这组实验是 200 个样本、3 轮完整演化，与主表的完整 benchmark 分数口径不同。
| 设置 | Avg. Accuracy | Token F1 | 对完整版本的 ACC 差 |
|---|---|---|---|
| 完整 GenMem | 49.5 | 52.1 | — |
| 冻结记忆库 | 46.5 | 46.8 | −3.0 |
| TF-IDF 检索 + 演化 | 40.5 | 43.4 | −9.0 |
| Embedding 检索 + 演化 | 37.0 | 41.2 | −12.5 |
| 不读取记忆 | 41.0 | 45.2 | −8.5 |
| 记忆模块不做 RL 后训练 | 38.5 | 42.6 | −11.0 |
| 贪心生成 SID | 42.0 | 45.7 | −7.5 |
来源：Table 23，p. 37。表内两行写成 w/o discriminative retrieval，但行描述和正文明确表示用判别式检索替代生成式寻址，此处按实际变体解释。
冻结库带来 3.0 个百分点准确率损失，直接支持在线更新的贡献；去掉记忆模块 RL 的损失更大，说明写得符合格式还不够。Embedding + 演化甚至低于无记忆版本，说明错误经验会干扰执行。消融提供组件作用线索，但去掉 RL、移除记忆或更换解码会同时改变多个中间行为，不能把各项差值简单相加。
4.7 附录检索分析揭示了中期训练的代价
| 配置 | 平均候选数 | Beam R@50 | 重排 HR@5 |
|---|---|---|---|
| PT，3 层 | 49.98 | 20.80 | 4.85 |
| PT，4 层 | 49.57 | 20.25 | 13.15 |
| MT，3 层 MemRetriever | 29.43 | 10.85 | 5.35 |
| MT，4 层，完整序列 beam | 33.72 | 4.90 | 3.10 |
| MT，4 层，仅 SID beam | 50.00 | 6.80 | 3.75 |
| MT，4 层 MemEvolver | 50.00 | 5.31 | 1.36 |
来源：Table 18，p. 31。PT 为对齐预训练，MT 为记忆操作中期训练；前五行各 2,000 个样本，最后一行 735 个。G.2 明确说这些检索评估样本来自均匀抽取的训练例，不能当作独立测试集泛化分数。[p. 30]
四层 MemRetriever 的 HR@5 从 PT 的 13.15 降至 MT SID-only 的 3.75；只在 SID 段做 beam 能修复一部分候选数量损失，但没有恢复 PT 水平。因此，ReAct 交互训练与精确地址预测之间存在实际张力。没有匹配的最终 RL 检索表，不能由训练奖励上升直接推定这部分退化已被完全恢复。Table 4 的初始 GenMem 检索数字恰与 PT-4L 行一致，也进一步要求明确各实验使用的 checkpoint。
Table 21 的累计 Top-5 前缀命中率显示，MT MemRetriever 从第一层 40.90% 逐层降到完整地址的 3.75%；MemEvolver 从 40.41% 降到 1.36%。后层独立 token 命中较高并不意味着四个 token 能同时对齐。[p. 33]
解码预算也有明显取舍：Table 19 中 deterministic beam 从 5 增到 20，Recall@5 只由 7.93% 增至 8.53%，报告延迟却由 121.0 ms 增至 406.1 ms。这是该 SID 解码实验的延迟，不是完整多智能体任务延迟。[p. 32]
4.8 量化与训练曲线：选择四层是词表与误差的折中
在 40 种架构、3 种距离设置的比较中，Weighted 设置平均叶占用率 49.15%，Euclidean 为 14.92%，重构损失分别为 $3.32\times10^{-4}$、$3.38\times10^{-4}$。这里的标准差是不同架构间的变化，不是多随机种子不确定性。[Table 14，p. 29]
选定的四层配置用 80 个符号、重构损失 $3.48\times10^{-4}$、叶占用率 62.22%；同容量的三层 $(128,24,16)$ 用 168 个符号、损失 $3.31\times10^{-4}$、占用率 64.25%。四层的优势是专用词表更小，而非所有量化指标都最好。[Table 15，p. 30]
前缀提示消融使用的是旧三层 $(48,24,24)$：报告重构损失由 0.000392 降至 0.000332，但叶占用率由 23.93% 降至 23.75%。不能把这个结果直接写成最终四层系统的下游收益。[Table 12，p. 29]
来源：Fig. 7，p. 34。横轴训练步数，纵轴训练损失，曲线为 500 步平滑均值。四层红线早期高于三层蓝线，约 1,100 步后才降到其下方，末期更低；原文“全程更低”的描述与图不符。且两种配置同时改变了容量、token 数和每层分类大小，无法仅由这张图归因于层数。
Fig. 8 各层归一化边际熵约为 0.9734、0.9900、0.9967、0.9943，说明各层单独看使用较分散；边际均衡不等于组合均衡或各层独立。附录 C.1 将基于熵的 ICR 定义为 $H_{\mathrm{joint}}/\sum_\ell H_\ell$，但明确说它与原配置比较中的旧 ICR 分数不同；Table 12 中大于 1 的旧 ICR 不应代入该熵公式。[pp. 19–20、29、34]
Fig. 9 的中期训练损失下降，Figs. 10–11 的部分有效输出率和奖励随训练提升，但 SID 匹配和结果奖励存在较大波动。Fig. 12 是另一组 StackPlanner 训练诊断：Search 使用 oracle memory，WebShop 使用 oracle actions，ALFWorld 训练 Interactor 且混合 oracle / 无记忆 rollout。它们不能替代完整系统在保留集上的成绩。[Appendix G.3，pp. 33–36]
五：结论——最可复用的是稳定接口，最需要补强的是证据链
5.1 方法启发
GenMem 提供了一个清晰的系统设计：**学习一个简短、可组合表示的地址空间，把后续经验改进放到地址背后的文本中。**读取与更新共用 SID，使记忆管理可以用语言模型的序列生成能力训练；过程奖励降低监督稀疏性，带与不带记忆的对照奖励把训练导向任务收益。
这种设计适合功能角色相对稳定、经验内容需要反复修订的长期智能体。实际实现时，地址压缩节省的是寻址词表，不会消除 LLM 解码、候选重排、查表文本、经验重写和双 rollout 的开销。附录给出的离线量化复杂度 $O(d\sum_\ell N_\ell)$ 也不代表在线生成地址或端到端执行成本。[Appendix C.1，p. 20]
5.2 固定地址会把风险转移到槽位语义维护
保持 SID 解决了“更新后地址迁移”的问题，但一个槽位若被新经验改写成不同含义，旧查询仍可能访问它。码本冻结还意味着新领域必须映射到已有空间。作者提出适应性码本分配与主动回访长尾子树作为方向；如何扩容而不破坏已有寻址，还需要额外机制。[Sec. 6，pp. 9–10]
一个具体例子来自 Appendix H 的支付案例：当前题目可以用依次支付得到正确答案，但新插入的经验把“double / half”概括成总是以前一次付款为基准。本次分析：该规则不能推广到比例关系指向更早付款或初始金额的题目。正确答案仍可能产生过度概括的经验，说明忠实提炼和后续验证对于稳定地址同样关键。[p. 41]
5.3 对贡献与可信范围的判断
可以较有把握地接受的是：SID 提供了明确的稳定读写接口；作者报告的完整 RL 系统在多个任务上表现较强；200 样本消融和在线 checkpoint 比较支持记忆更新、策略学习及搜索各自具有作用。
仍需补强的主要是三件事：明确记忆来源与评测 split 的重叠关系，以解释域外和 GPQA 结果；统一训练配置、奖励公式与 checkpoint，让“检索退化—RL 恢复—下游提高”的链条可以追踪；通过未见组合、打乱 token 和匹配监督的稳定检索基线，检验符号组合性及寻址设计的独立贡献。这些问题决定了论文主张能推进到什么程度，而不改变其稳定接口设计本身的启发。