# JitMem：Just-in-Time Memory 中文精读笔记

**原题名**：Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents  
**作者**：Yefan Zhou、Yang Li、Zeyu Leo Liu、Semih Yavuz、Shafiq Joty（Salesforce AI Research；前两位共同一作）  
**版本**：[arXiv:2609.27334v1](https://arxiv.org/abs/2609.27334v1)，提交于 2026-09-23；本次获取与研读日期为 2026-09-27。  
**原始材料**：[本地论文 PDF](../source/paper.pdf) · [作者主 TeX](../source/tex/files/main.tex) · [源码清单及哈希](../source/tex/manifest.json)  
**配套汇报**：[英文幻灯片 PDF](slides.en.pdf) · [可编辑 Beamer TeX](slides.en.tex)

阅读范围：已读取主 TeX 实际引用的正文、表格、附录 A/B、提示模板和结果示例；使用同版本 25 页 PDF 核验身份、页码、公式、关键表格与图 1–6。下文页码均为从 1 开始的 PDF 页码，与本版印刷页码一致。参考文献只核对与本篇论证直接相关的条目，未逐篇研读被引论文；未运行作者实验。本文是分析笔记，不是全文译稿。

## 论文总览

JitMem 将记忆的“保存”与“整理”拆开：先保存被判断为成功的原始执行轨迹，等下一项任务出现后，再从检索到的轨迹中提取专门服务于当前任务的简报。这个简报交给冻结的执行器，使用后不存回记忆库；下一次任务重新整理。

这个改变同时影响信息和学习。信息上，过早写成固定摘要会丢掉后来才显得重要的细节；学习上，读时整理器生成的简报就在当前任务中使用，可以直接用当前任务的完成质量训练它。执行器仍需与环境交互，但整理器不必等待未来某个任务才知道此次输出有没有用。（Sec. 1、3，pp. 1–5）

最有力的结果来自 Qwen3-8B 同时作为整理器基础模型与执行器的实验：经 RL 训练的 JitMem 在 ALFWorld 的成功率为 **77.4%**，对比 SkillOS 的 **61.2%**；WebShop 为 **32.8%**，对比 **16.5%**，分别增加 **16.2、16.3 个百分点**。τ²-bench 的 **+3.9 个百分点**则来自未经训练的 GPT-5.4 整理器与执行器，不能并列解释为同一个训练模型在三个基准上的收益。（Tables 1–2，pp. 6–7）

我的阅读判断：本文最值得带走的是“把记忆抽象推迟到任务已知时”的设计，以及由此得到的同任务奖励接口。它提供了较强的基准实验证据，但没有证明读时整理在任何模型、任何任务上都优于写时整理，也没有给出端到端成本下降的完整账单。

## 结构地图

| 原文章节 | 作用 | PDF 定位 |
| --- | --- | --- |
| Abstract；1 Introduction | 写时抽象的问题、读时整理的动机和贡献 | pp. 1–3；Fig. 1，p. 2 |
| 2 Related Work | 区分写时记忆、会话内工作记忆、读时处理 | p. 3 |
| 3 Method | 记忆库、检索、整理、执行、训练和流式评测 | pp. 4–5；GRPO 公式未编号 |
| 4 Experiments；4.1 Main Results | 三个基准、模型、主结果、迁移和效率 | pp. 5–7；Tables 1–4 |
| 4.2 Ablation Study | 任务条件、原始轨迹、过滤、检索、刷新与冷启动 | pp. 7–9；Fig. 2，p. 8；Table 5，p. 8 |
| 4.3 Qualitative Analysis | 同一经历的不同简报；RL 前后程序性指导 | pp. 9–10；Figs. 3–4 |
| 5 Conclusion | 总结、限制、未来方向 | p. 10 |
| References | 参考文献 | pp. 11–13 |
| A Experimental Details and Hyperparameters | 提示词、复现差异、推理和 RL 配置 | pp. 14–19；Tables 6–7 |
| B Additional Results | 检索数量、完整消融、简报示例、训练曲线 | pp. 19–25；Tables 8–9；Figs. 5–6 |

## 一：动机

### 1. 写入时就决定“经验的教训”，会过早压缩信息

常见方案在任务结束后，把轨迹写成反思、技能、流程或推理策略，未来靠相似度检索这些固定产物。问题不是摘要一定不好，而是摘要制作时还不知道将来要解决什么：同一次拿取、冷却、放置物品的经历，可能为后续任务提供状态转换知识，也可能提供目标位置核验方法。单个固定摘要不能保证保留每一种潜在用途。（Sec. 1，pp. 1–2）

JitMem 让原始轨迹成为可以反复解释的材料。新的信息瓶颈发生在读时简报，而不是持久化存储时；下一项任务仍可访问原始材料。这里“无损”只指**入库轨迹没有被摘要化**，不是所有历史都被保留：被质量门拒绝的轨迹仍会被舍弃。

### 2. 整理时机改变奖励归属

写时整理器在任务 $s$ 结束后生成记忆，可能直到任务 $t>s$ 检索它时才显现用途。训练需要把后来的收益归因到早先的写入决策。SkillOS 用相关任务分组等办法构造这样的学习信号。

JitMem 在当前任务 $t$ 生成简报 $p_t$，冻结执行器使用 $p_t$ 完成同一个任务，于是奖励 $r_t$ 可以直接评价这次简报。论文所谓“零时间间隔／单步”，应在**整理器决策的任务粒度**理解；不是没有环境执行步骤，也不等于完整系统变成了单步任务。（Sec. 3，pp. 4–5）

### 3. 创新边界

根据本文对相关工作的归类，JitMem 的组合特征是：跨任务的原始情景记忆、依赖当前任务的读时整理、与执行器分离的可训练整理器、部署时持续增长的库。原文也明确提到同期 MemHarness 采用读时整理，但把整理与执行耦合在一个策略中。因此不宜把本篇概括为“首次提出读时记忆”。这里的相关工作判断来自本篇 Sec. 2，未独立复核所有被引系统。（p. 3）

## 二：方法

### 1. 输入、模块、输出

![JitMem 推理与训练流程](figures/fig-01-overview.png)

原图 1，PDF p. 2；由作者矢量图转换。先读左侧 (a)：当前任务驱动检索，整理器产生简报，执行器行动，事后判断是否入库。再读右侧 (b)：训练时同一任务有多个候选简报，执行器分别尝试，奖励更新整理器。火焰表示可训练部分；执行器冻结。

| 符号 | 含义与类型 |
| --- | --- |
| $x_t$ | 当前任务描述，文本 |
| $\xi_t=(x_t,o_1,a_1,\ldots,o_n,a_n)$ | 任务与交替的观察—动作序列；长度可变 |
| $\mathcal M_t$ | 当前可检索的原始轨迹集合 |
| $\mathcal R$、$\hat{\boldsymbol\xi}_t$ | 固定检索器、返回的有序轨迹集合 |
| $\pi_\phi$、$p_t$ | 参数为 $\phi$ 的记忆整理器、生成的自然语言简报 |
| $\pi_L$ | 冻结的 LLM 执行器 |
| $r_t\in[0,1]$ | 环境任务奖励，无量纲 |
| $G$、$\hat A_i$ | 每任务候选简报数、组内中心化优势 |

系统按以下数据流工作（原文 Sec. 3，p. 4）：

$$
\hat{\boldsymbol\xi}_t=\mathcal R(x_t,\mathcal M_t),\qquad
p_t\sim\pi_\phi(\cdot\mid x_t,\hat{\boldsymbol\xi}_t),
$$

$$
(\xi_t,r_t)=\pi_L(x_t,p_t),\qquad
\mathcal M_{t+1}=\operatorname{Update}(\mathcal M_t,\xi_t,r_t).
$$

这里沿用论文将执行器与环境回报合写的记号；奖励由环境评估产生，并非模型自行输出的客观真值。部署更新时实际使用 judge 的成功判断，而不是把上述记号中的环境真值提供给系统。

### 2. 四个模块分别做什么

**记忆库**保存被接受轨迹的任务描述及完整观察—动作序列，不写摘要、不写可执行技能。部署时使用执行器同一模型充当 LLM judge，只有判成功的轨迹进入库。成功筛选改善检索材料的质量，但 judge 的错误也可能传播到后续任务。（p. 4）

**检索器**用 BM25，索引和匹配的是任务描述，不是轨迹正文。主实验取 $k=3$；返回的原始轨迹按排名拼接。检索器不训练，本文实验固定检索器以控制这部分变化。相关工作中描述的某方法原生检索方式，不应与本文统一实验设置混为一谈。（p. 4；Appendix A，p. 18）

**整理器**读取当前任务和轨迹，输出三类信息：相关经历、可迁移策略、对当前任务的具体指导。简报只服务此次执行，用完不存回库。附录提示词要求 WebShop 不照搬商品 ID，τ²-bench 不照搬历史客户、预订、价格或日期，当前实例信息应重新查询。（pp. 14–15）

**执行器**在任务上下文中接收简报并与环境交互，权重冻结。主实验 ALFWorld/WebShop 的执行提示只保留最近 3 轮历史，最多行动 30 轮；τ²-bench 最多 200 轮。因此，本篇结果与特定的上下文管理、动作预算一同成立。（pp. 15–18）

### 3. GRPO 为什么适合这里

对每个训练任务检索一次，生成 $G=8$ 份候选简报，执行器分别尝试后得到 $r_t^{(i)}$。组内优势是：

$$
\hat A_i=r_t^{(i)}-\frac{1}{G}\sum_{j=1}^{G}r_t^{(j)}.
$$

论文省略标准差归一化，正文给出的核心目标为：

$$
\mathcal L_{\mathrm{GRPO}}=
-\frac{1}{G}\sum_{i=1}^{G}\hat A_i
\log\pi_\phi\!\left(p_t^{(i)}\mid x_t,\hat{\boldsymbol\xi}_t\right).
$$

这两处公式在原文没有公式编号，定位为 Sec. 3，pp. 4–5。直觉是提高同组中带来较高奖励的简报的概率，压低较差者；没有价值网络。ALFWorld 使用二元成功奖励，WebShop 训练使用连续任务分数。虽然方法段还讨论 τ²-bench 的二元奖励，本篇没有在该基准上训练整理器。

**正文公式不是完整实现规格。** Table 7（p. 19）还报告了 clip 范围 $(0.2,0.2)$、token-mean 聚合以及系数 $10^{-3}$ 的 KL loss；“没有额外内容质量奖励”不代表“没有任何正则项”。KL 不放进 reward，但以 loss 项启用。

**教学计算，不是论文实验数据**：若 8 份简报中 2 份取得二元奖励 1，其余为 0，均值是 0.25，成功简报的优势为 0.75，失败简报为 −0.25。若全部获得相同奖励，这一组的任务奖励优势为 0；这说明即时奖励消除了跨任务等待，却没有保证每个采样组都提供有用梯度。

### 4. 训练与部署必须分开理解

| 项目 | 整理器训练 | 默认测试／部署式评测 |
| --- | --- | --- |
| 初始记忆 | 基础执行器跑训练集，保留成功轨迹 | 空库；不带入训练库 |
| 入库判断 | 使用环境真值筛选初始训练库 | 使用 LLM judge |
| 库是否变化 | 主设置固定；刷新是额外消融 | 每批任务执行后更新 |
| 参数更新 | 只训练整理器 | 整理器和执行器均不更新权重 |
| 环境真值用途 | 给候选简报奖励 | 统计评测指标，不决定入库 |

训练库来自基础执行器，测试库来自已有简报帮助下的执行器，存在轨迹分布偏移。作者以“训练 100 步后重建库，再训练 50 步”的消融检查它，而非在主训练里实时维护同一个流式库。（Sec. 3，p. 5；Sec. 4.2，pp. 8–9）

**教学伪代码**（展开 judge 与 verifier 的区别）：

```text
M = empty bank
for batch in randomly ordered test tasks:
    accepted = []
    for x in batch:                 # 批内共享本批开始时的 M
        traces = BM25(x, M, k=3)
        payload = curator(x, traces)
        trajectory = frozen_executor(x, payload)
        record_metric(environment_verifier(trajectory))
        if executor_as_judge(x, trajectory).success:
            accepted.append(raw trajectory)
    M.extend(accepted)
```

这是测试期间的跨任务经验积累，不是测试时 RL。库的增长也不同于持久的参数学习。

## 三：实验

### 1. 基准、指标和统计口径

| 基准 | 任务 | 本篇测试规模 | 报告指标 | 重复与批大小 |
| --- | --- | --- | --- | --- |
| ALFWorld | 文本式具身控制 | 140 项 | SR，越高越好 | 3 次不同任务顺序；每批 10 项 |
| WebShop | 按产品属性与价格要求购物 | 500 项 | 平均 Score、SR，均越高越好 | 3 次不同任务顺序；每批 10 项 |
| τ²-bench | Airline、Retail、Telecom 多轮对话与工具使用 | 所读正文／附录未明确列出各域任务数 | 每域 SR、macro 与 micro SR | 4 次不同任务顺序；每批 5 项 |

来源：Sec. 4，p. 5；Tables 1–2，pp. 6–7；Appendix A，p. 18。主表按 0–100 标度呈现；WebShop 的 Score 能反映部分匹配，SR 表示成功任务比例，不能把 Score 的增加写成 SR 的增加。Macro 对三个域等权，micro 按任务汇总；域规模未在文中明确列出，不反推其确切数量。

表中的“±”是多次不同任务顺序运行的标准差，不是置信区间，也未被说明为多个独立 RL 训练种子的方差。论文未提供配对显著性检验；本笔记用“均值提高／下降”，不把标准差直接当成显著性检验。

### 2. 基线和命名

| 方法／后缀 | 比较角色 |
| --- | --- |
| No Memory | 冻结执行器单独行动 |
| ReasoningBank | 写时提取策略、经验的启发式记忆 |
| MemP | 写时构造多粒度程序性记忆 |
| SkillOS | 经 RL 训练的写时技能整理；与 JitMem 的学习方案直接比较 |
| `-base` | 整理器为未经 RL 训练的 Qwen3-8B |
| `-gemini`／`-gpt` | 提示驱动的 Gemini-2.5-Pro／GPT-5.4 整理器 |
| JitMem，无后缀 | 以 Qwen3-8B 初始化、经 RL 训练的读时整理器 |

整理器模型与执行器模型是两个维度。例如 “GPT-5.4 执行器 + JitMem” 使用的是训练后的 Qwen3-8B 整理器，不是训练后的 GPT-5.4。（Sec. 4，p. 5）

### 3. 实现中会改变结论的配置

- RL 主设置：100 步、学习率 $10^{-6}$、batch 32、每任务 8 份简报、前 5 步 warmup。训练执行器为 non-thinking Qwen3-8B。
- 测试 Qwen3-8B 执行器在 ALFWorld 开 thinking，在 WebShop 关闭；Qwen 整理器均为 non-thinking。由此可见，“用 Qwen 训练再在 Qwen 测试”仍可能有推理模式差异。
- 测试 Qwen 整理器温度 0.6、top-p 0.95、top-k 20；训练简报采样温度 1.0。执行器温度 1.0、单次最多输出 4096 token。
- 整理器训练 prompt 上限 32768 token；response 上限为 ALFWorld 8192、WebShop 4096。原文没有充分报告超长原始轨迹的具体截断策略。
- 单机 8×H200，作者报告 ALFWorld 一次训练约 21 小时，WebShop 约 27 小时；未据此推算未经报告的总实验开销。（Appendix A，pp. 18–19）

### 4. 基线复现口径值得单独保留

Table 1 的 Qwen/Gemini 无记忆值与 Table 6 的 SkillOS “Reported” 行一致，而作者复现的数值不同。例如 Qwen ALFWorld：主表 47.9，复现 thinking 为 42.1、non-thinking 为 34.5；Qwen WebShop SR：主表 9.8，复现 non-thinking 为 8.6。作者还调整 Qwen 的提示和 WebShop 搜索指导。（Tables 1、6，pp. 6、18）

使用较高的既有 SR 作为无记忆比较值，可以使这个差值较保守，但不自动保证全部比较完全等配置。复现时应逐行确认 baseline 来源、提示和推理模式，不宜把主表每一项都当作本研究在同一管线下重新跑出的结果。另一个文字与表格的不一致是 Table 6 图注称所有复现值均不高于既有报告，然而 Qwen non-thinking 的 WebShop **Score 36.4 高于 33.3**；SR 8.6 仍低于 9.8。

## 四：结果

### 4.1 Main Results：先区分“读时设计”与“RL 增益”

**A. 未训练整理器：有效，但不是普遍占优。**

| 配置与指标 | 写时对照 | JitMem 未训练版本 | 解读 |
| --- | --- | --- | --- |
| Qwen 执行／整理，ALFWorld SR | ReasoningBank 55.7±3.1；SkillOS-base 53.1±2.5 | 60.5±2.6 | 支持读时设计在此配置的收益 |
| Qwen 执行／整理，WebShop SR | SkillOS-base 13.6±0.8 | 11.7±0.5 | 反例：读时并非自动更好 |
| Gemini 执行／整理，WebShop SR | ReasoningBank 40.2±1.3；SkillOS-gemini 41.0±1.2 | 61.0±0.7 | 大模型提示式读时整理收益明显 |
| GPT-5.4 执行、Qwen 整理，ALFWorld SR | GPT 整理的 ReasoningBank 77.9±4.2 | 79.3±3.6 | 均值略高，方差较大，勿写成确定显著优势 |

来源：Table 1，p. 6。更严谨的结论是“读时架构在多项匹配配置下有收益”，不是“与模型能力无关”。尤其 Qwen WebShop 的 JitMem-base Score 为 32.5，低于 SkillOS-base 38.6，也低于主表无记忆 33.3。

**B. RL 训练：主要的同模型比较。**

| 执行器与方法 | ALFWorld SR ↑ | WebShop Score ↑ | WebShop SR ↑ |
| --- | --- | --- | --- |
| Qwen：SkillOS（RL） | 61.2±4.6 | 40.6±0.7 | 16.5±0.7 |
| Qwen：JitMem-base | 60.5±2.6 | 32.5±3.2 | 11.7±0.5 |
| Qwen：JitMem（RL） | **77.4±2.9** | **61.1±0.9** | **32.8±1.7** |
| Gemini：SkillOS（RL） | 80.2±3.1 | 56.0±0.7 | 41.3±0.8 |
| Gemini：JitMem-base | 80.0±1.5 | 54.7±1.4 | 44.4±0.6 |
| Gemini：JitMem（RL） | **86.2±1.9** | **61.0±0.8** | **50.5±0.8** |
| GPT-5.4：JitMem-base | 79.3±3.6 | 49.9±1.0 | 39.3±0.7 |
| GPT-5.4：JitMem（RL） | **86.7±0.7** | **53.8±0.3** | **45.4±0.0** |

以上整理器均以 Qwen3-8B 为基础。来源：Table 1，p. 6，3 次运行的均值±标准差。GPT 执行器区块未列 RL SkillOS，不补造对应比较。

Qwen 下 JitMem 对 SkillOS 的差值为 ALFWorld **+16.2 pp**、WebShop Score **+20.5 分**、WebShop SR **+16.3 pp**。这些都是绝对差值；32.8 相对 16.5 的相对增长约 98.8%，它与“+16.3 个百分点”是不同口径。对 JitMem-base 的 RL 增益为 ALFWorld +16.9 pp、WebShop +21.1 pp。

更强的提示式整理器仍可在某些任务领先：Gemini 执行器下 JitMem-gemini 的 WebShop SR 61.0 高于训练 Qwen 整理器的 50.5；GPT 执行器下 JitMem-gpt 为 47.5，高于 45.4。因此本文没有证明小模型 RL 整理器优于所有强模型零样本方案。

**C. τ²-bench：域间差异比总均值更重要。**

| 方法（GPT-5.4 执行器） | Airline | Retail | Telecom | Macro | Micro |
| --- | --- | --- | --- | --- | --- |
| No Memory | 65.0±5.7 | 79.8±4.2 | 50.2±2.0 | 65.0±3.2 | 65.0±2.8 |
| ReasoningBank，GPT 整理 | 65.0±5.0 | 84.6±2.2 | 61.6±8.4 | 70.4±4.1 | 71.7±3.9 |
| SkillOS-gpt | 68.0±1.4 | 78.5±3.5 | 53.3±2.7 | 66.6±1.3 | 66.4±1.9 |
| JitMem-base，Qwen 整理 | 66.0±4.9 | 81.1±1.5 | 57.9±8.5 | 68.3±2.2 | 68.9±2.6 |
| JitMem-gpt | 63.5±3.0 | 84.0±3.6 | **72.6±4.5** | **73.4±2.0** | **75.6±2.3** |

来源：Table 2，p. 7；所有整理器均未经 RL 训练，4 次运行。+3.9 pp 是 micro 的 75.6−71.7；macro 的提升是 3.0 pp。最大域收益来自 Telecom：相对 ReasoningBank +11.0 pp；Airline 和 Retail 未呈现同样优势。

作者据此推测读时整理尤其有利于复杂程序性指导。这个解释合理，但三个域同时在任务结构、基线能力等方面不同，还不能把域间差异单独归因到“程序复杂度”。

**D. 执行器迁移：学到的整理策略有一定可迁移性。**

Table 3（p. 7）固定在 ALFWorld，用 Qwen 执行器训练的整理器移到 GPT-5.4 后达到 86.7±0.7；直接用 GPT-5.4 执行器训练则为 88.1±0.9，差 1.4 pp。未训练整理器为 79.3±3.6。它支持跨执行器复用，不等于跨任务域迁移；论文分别讨论 ALFWorld/WebShop 的训练，并没有证明一个通用 checkpoint 覆盖所有基准。

**E. 效率：执行器端更省，但不是总成本结果。**

| 方法 | 执行器输入 token／任务（K）↓ | 输出 token（K）↓ | 执行步数↓ |
| --- | --- | --- | --- |
| No Memory | 9.0 | 1.40 | 17.8 |
| ReasoningBank | 19.7 | 1.26 | 16.2 |
| SkillOS-base | 22.4 | 1.36 | 16.9 |
| JitMem-base | 10.9 | 1.00 | 13.2 |
| JitMem | 9.8 | 0.87 | 11.6 |

来源：Table 4，p. 7；ALFWorld，GPT-5.4 执行器。JitMem 相对 ReasoningBank/SkillOS-base 输入 token 减少约 50.3%/56.3%，步数减少约 28.4%/31.4%。相对无记忆，输入仍从 9.0K 增至 9.8K。

这些 token 是多步执行器侧的任务累计开销，不是单份简报长度。表格未计入整理器读取原始轨迹并生成简报、judge、检索、持久存储及训练成本，不能据此声称端到端延迟、总 token 或费用降低同等比例。

### 4.2 Ablation Study：什么支撑了收益

![未经训练的 JitMem 消融](figures/fig-02a-base-ablation.png)

原图 2(a)，p. 8。列为 Qwen、Gemini、GPT 三个执行器，上排 ALFWorld SR、下排 WebShop SR；每组最后一根柱为完整 JitMem-base。纵轴刻度按子图变化，不宜只凭柱高跨图比较；精确数值在 Table 9（p. 21）。

**A. 未训练整理器的三个设计选择。**

| Qwen 执行／整理，Table 9 | ALFWorld SR | WebShop SR | 去除因素对应的问题 |
| --- | --- | --- | --- |
| JitMem-base | 60.5±2.6 | 11.7±0.5 | 完整设置 |
| 去掉当前任务条件 | 57.4±2.0 | 7.1±0.1 | 通用摘要是否足够？ |
| 不筛选成功轨迹 | 59.0±2.2 | 8.9±1.7 | 失败标签能否代替入库过滤？ |
| 只存写时蒸馏结果 | 58.8±1.5 | 4.9±0.7 | 原始细节是否重要？ |

跨执行器，去任务条件使 ALFWorld 下降 1.0–3.1 pp、WebShop 下降 2.6–4.6 pp；取消成功筛选分别下降 1.5–2.9 与 2.3–3.4 pp；改为写时蒸馏分别下降 1.7–2.9 与 6.8–8.2 pp。（Sec. 4.2，p. 8；Table 9，p. 21）

这些单因素去除实验支持“每项设计在当前系统中都有贡献”。它们没有估计各因素的交互作用，不能严格证明统计独立性或可加性。去掉当前任务文本时，检索仍由当前任务驱动，故消融移除的是整理器的显式任务条件，不是系统中的全部任务信息。

**B. RL 的收益是否依赖真正读到经历？**

| Qwen 执行器、RL 整理器 | ALFWorld SR | WebShop SR |
| --- | --- | --- |
| 完整 JitMem | 77.4±2.9 | 32.8±1.7 |
| 不提供检索轨迹 | 62.6±1.2 | 17.6±1.1 |
| 不提供当前任务条件 | 66.0±4.7 | 22.4±0.4 |

来源：Table 9，p. 21；Fig. 2(b)，p. 8。去轨迹损失 14.8/15.2 pp，去任务条件损失 11.4/10.4 pp，支持 RL 学会结合任务与经验来生成更有用的上下文。

需要修正正文较强的表述：p. 8 写去轨迹会降至或低于未训练版本，但 Qwen 下 62.6 仍高于 JitMem-base 的 60.5，WebShop 17.6 也高于 11.7；GPT WebShop 40.9 也高于 39.3。可成立的结论是“训练收益很大程度上依赖检索材料”，而不是“没有检索就没有任何训练收益”。原文也未充分说明每项 RL 去除条件是否单独重训，不能把它们无条件解读为完全匹配的训练因果实验。

**C. 刷新训练库与热启动。**

| WebShop SR | Qwen 执行器 | Gemini 执行器 | GPT 执行器 |
| --- | --- | --- | --- |
| 默认 | 32.8±1.7 | 50.5±0.8 | 45.4±0.0 |
| 刷新库，再训练 50 步 | 35.6±0.3 | 50.5±1.1 | 46.3±0.1 |
| 测试预放 100 条训练轨迹 | 32.5±1.5 | 50.9±0.3 | 44.1±0.4 |

来源：Table 5，p. 8；解释延续到 p. 9。刷新对 Qwen +2.8 pp、GPT +0.9 pp，Gemini 不变；因为同时增加训练 50 步，没有“原库再训练 50 步”的匹配对照，不能把全部增益归因到库刷新本身。

热启动没有一致正向收益。正文说差异均在标准差内，但 GPT 从 45.4±0.0 到 44.1±0.4 的差为 1.3 pp，不支持这句话的字面含义。这不等价于证明统计显著下降，因为缺少配对结果与检验；稳妥结论是“本实验未显示稳定的热启动收益”。也没有按早期任务位置报告结果，故不能据此证明完全没有冷启动损失。

### 4.3 Qualitative Analysis：简报确实随任务改变，但个案不是保证

![同一经历针对不同任务生成不同简报](figures/fig-03-task-adaptivity.png)

原图 3，p. 9。上方是共同的冷却鸡蛋并放进微波炉的经历；下方左侧突出状态变化，右侧突出报纸放置与目标位置检查。这个图说明“同一轨迹可以有多种用途”。但左侧简报还出现把热土豆放入冰箱冷却的建议，与当前任务的热状态要求存在张力，所以它不能单独作为所有指导均正确的证据。

![RL 前后的程序性指导](figures/fig-04-rl-behavior.png)

原图 4，p. 10。两栏分别是 JitMem-base 和 RL 后的 JitMem，任务是用台灯检查碗。未训练版本停在笼统的检查动作；训练版本补上到台灯位置再利用台灯检查的流程。作者将其解释为环境相关的程序语义；该个案与消融方向一致，但不能量化整体机制或排除其他解释。

附录 B 的三个示例（pp. 22–24）进一步展示：ALFWorld 把不同对象任务中的“找物、清洗、放置”组合起来；WebShop 从服饰经历提取属性选项选择方法；Telecom 从既往故障对话提取设备排查、账户查询及操作前确认的顺序。它们帮助理解输出格式，不是额外的独立成功率实验。

### Appendix B：检索数量和训练曲线

Table 8（p. 20）将 WebShop 的 $k=3$ 改为 $k=5$：Qwen SR 32.8→32.8，Gemini 50.5→48.6，GPT 45.4→45.3。它支持这两个小检索量之间没有收益保证，不支持任意 $k$、大规模库或长轨迹下都不敏感。

![ALFWorld 训练过程](figures/fig-05-training-alfworld.png)

原图 5，p. 24。横轴均为 0–100 个训练步骤；左列为 SR，右列为执行轮数；上排训练，下排验证。成功率总体上升，执行轮数总体下降，但并非严格单调。

![WebShop 训练过程](figures/fig-06-training-webshop.png)

原图 6，p. 25。上排训练、下排验证；三列分别为 SR、平均 Score、执行轮数。总体趋势与 ALFWorld 一致，后段仍有波动。作者注明验证使用抽样测试任务流；文中未清晰说明该子集是否参与超参数或 checkpoint 选择，应在复现时明确数据隔离协议。曲线支持可训练性，没有提供跨训练种子的稳定性统计。

## 五：结论

### 1. 证据最扎实的贡献

第一，经验库可以保留原始轨迹，把任务相关的信息选择放到检索之后；这一设计在多个基准和执行器配置中有实际收益。第二，同任务奖励使训练整理器变得直接，Qwen 配置下对已训练写时基线的提升很大。第三，冻结执行器、单独训练整理器提供了模块化接口，ALFWorld 的迁移实验展示了跨执行器复用的可行性。

### 2. 作者已承认的限制

Sec. 5（p. 10）指出：BM25 在大而多样的库上可能成为瓶颈；整理器增加一次 LLM 调用；简报格式按基准人工设计；当前每个任务只整理一次，尚未随执行中的新观察按步调整。论文提出更强检索、联合优化输出格式和更细粒度整理，均属于未来工作。

### 3. 本次阅读补充的边界

- **成本边界**：执行器 token 与步数下降，无法替代包含整理器、judge、存储和训练的端到端核算。
- **质量门边界**：成功由 LLM 判断，未报告 judge 的精确率／召回率及错误累积。筛掉失败轨迹的结果不等于所有任务都不应学习失败经验。
- **对照边界**：读时整理、原始存储和过滤共同构成一个系统；单因素消融支持贡献，却没有完整分解所有交互，也没有等总计算预算的充分对照。
- **训练边界**：总体目标写作累计任务成功，但实际主要优化固定库下的同任务奖励；它不是对未来入库影响的完整长期回报优化。
- **统计边界**：3／4 次不同任务顺序的均值与标准差，不能独自支撑强显著性或普适性主张。
- **复现边界**：需澄清部分基线值来源、未报告的训练／库规模、训练任务检索时是否排除自身轨迹、超长输入处理、验证子集用途和 judge 配置。缺失说明不能直接当成已发生数据泄漏的证据。

### 4. 有针对性的后续实验（本次分析建议）

1. 在固定 executor 与相同端到端预算下，比较直接拼接原始轨迹、普通摘要、JitMem-base、RL JitMem，记录全系统 token、延迟、成功率和存储增长。
2. 用配对任务顺序和多个独立训练种子，测试任务条件、成功过滤、原始存储的交互，而不只做逐个去除。
3. 对固定库继续训练与刷新库继续训练各增加 50 步，分离额外训练和库分布变化的作用。
4. 分别报告早期／后期任务、库规模、检索相关度及 judge 错误，检查冷启动和长期污染。
5. 在完全隔离的验证集上选择超参数，并评估未训练过的任务类型或领域，区分执行器迁移与任务泛化。

### 5. 组会讨论切入点

最值得讨论的是：当原始经验可保存且检索成本可控时，应当把“长期保存什么”与“当前读什么”拆成两个决策。JitMem 为后一项提供了明确、可训练的接口。真正部署前，仍要测量新增整理成本、质量门可靠性，以及该接口在自己的任务分布里是否胜过简单检索。

---

材料说明：TeX 源码获取成功；正文依照 `main.tex` 的实际引用读取，而非把摘要或 HTML 当作全文。图件来源、原图号和 PDF 页码记录于 [figures/provenance.json](figures/provenance.json)。中英文成品共用同一版本的原始材料；图表为原图复用或明确标注的数值重排，没有生成式实验图片。