JitMem：Just-in-Time Memory 中文精读笔记

原题名：Just-in-Time Memory: Learning to Curate Task-Adaptive Memory for LLM Agents
作者：Yefan Zhou、Yang Li、Zeyu Leo Liu、Semih Yavuz、Shafiq Joty（Salesforce AI Research；前两位共同一作）
版本：arXiv:2609.27334v1，提交于 2026-09-23；本次获取与研读日期为 2026-09-27。
原始材料：本地论文 PDF · 作者主 TeX · 源码清单及哈希
配套汇报：英文幻灯片 PDF · 可编辑 Beamer TeX

阅读范围：已读取主 TeX 实际引用的正文、表格、附录 A/B、提示模板和结果示例；使用同版本 25 页 PDF 核验身份、页码、公式、关键表格与图 1–6。下文页码均为从 1 开始的 PDF 页码，与本版印刷页码一致。参考文献只核对与本篇论证直接相关的条目，未逐篇研读被引论文；未运行作者实验。本文是分析笔记，不是全文译稿。

论文总览

JitMem 将记忆的“保存”与“整理”拆开：先保存被判断为成功的原始执行轨迹，等下一项任务出现后，再从检索到的轨迹中提取专门服务于当前任务的简报。这个简报交给冻结的执行器，使用后不存回记忆库；下一次任务重新整理。

这个改变同时影响信息和学习。信息上，过早写成固定摘要会丢掉后来才显得重要的细节；学习上，读时整理器生成的简报就在当前任务中使用，可以直接用当前任务的完成质量训练它。执行器仍需与环境交互，但整理器不必等待未来某个任务才知道此次输出有没有用。（Sec. 1、3，pp. 1–5）

最有力的结果来自 Qwen3-8B 同时作为整理器基础模型与执行器的实验：经 RL 训练的 JitMem 在 ALFWorld 的成功率为 77.4%，对比 SkillOS 的 61.2%；WebShop 为 32.8%，对比 16.5%，分别增加 16.2、16.3 个百分点。τ²-bench 的 +3.9 个百分点则来自未经训练的 GPT-5.4 整理器与执行器，不能并列解释为同一个训练模型在三个基准上的收益。（Tables 1–2，pp. 6–7）

我的阅读判断：本文最值得带走的是“把记忆抽象推迟到任务已知时”的设计，以及由此得到的同任务奖励接口。它提供了较强的基准实验证据，但没有证明读时整理在任何模型、任何任务上都优于写时整理，也没有给出端到端成本下降的完整账单。

结构地图

一：动机

1. 写入时就决定“经验的教训”，会过早压缩信息

常见方案在任务结束后，把轨迹写成反思、技能、流程或推理策略，未来靠相似度检索这些固定产物。问题不是摘要一定不好，而是摘要制作时还不知道将来要解决什么：同一次拿取、冷却、放置物品的经历，可能为后续任务提供状态转换知识，也可能提供目标位置核验方法。单个固定摘要不能保证保留每一种潜在用途。（Sec. 1，pp. 1–2）

JitMem 让原始轨迹成为可以反复解释的材料。新的信息瓶颈发生在读时简报，而不是持久化存储时；下一项任务仍可访问原始材料。这里“无损”只指入库轨迹没有被摘要化，不是所有历史都被保留：被质量门拒绝的轨迹仍会被舍弃。

2. 整理时机改变奖励归属

写时整理器在任务 $s$ 结束后生成记忆，可能直到任务 $t>s$ 检索它时才显现用途。训练需要把后来的收益归因到早先的写入决策。SkillOS 用相关任务分组等办法构造这样的学习信号。

JitMem 在当前任务 $t$ 生成简报 $p_t$，冻结执行器使用 $p_t$ 完成同一个任务，于是奖励 $r_t$ 可以直接评价这次简报。论文所谓“零时间间隔／单步”，应在整理器决策的任务粒度理解；不是没有环境执行步骤，也不等于完整系统变成了单步任务。（Sec. 3，pp. 4–5）

3. 创新边界

根据本文对相关工作的归类，JitMem 的组合特征是：跨任务的原始情景记忆、依赖当前任务的读时整理、与执行器分离的可训练整理器、部署时持续增长的库。原文也明确提到同期 MemHarness 采用读时整理，但把整理与执行耦合在一个策略中。因此不宜把本篇概括为“首次提出读时记忆”。这里的相关工作判断来自本篇 Sec. 2，未独立复核所有被引系统。（p. 3）

二：方法

1. 输入、模块、输出

原图 1，PDF p. 2；由作者矢量图转换。先读左侧 (a)：当前任务驱动检索，整理器产生简报，执行器行动，事后判断是否入库。再读右侧 (b)：训练时同一任务有多个候选简报，执行器分别尝试，奖励更新整理器。火焰表示可训练部分；执行器冻结。

系统按以下数据流工作（原文 Sec. 3，p. 4）：

这里沿用论文将执行器与环境回报合写的记号；奖励由环境评估产生，并非模型自行输出的客观真值。部署更新时实际使用 judge 的成功判断，而不是把上述记号中的环境真值提供给系统。

2. 四个模块分别做什么

记忆库保存被接受轨迹的任务描述及完整观察—动作序列，不写摘要、不写可执行技能。部署时使用执行器同一模型充当 LLM judge，只有判成功的轨迹进入库。成功筛选改善检索材料的质量，但 judge 的错误也可能传播到后续任务。（p. 4）

检索器用 BM25，索引和匹配的是任务描述，不是轨迹正文。主实验取 $k=3$；返回的原始轨迹按排名拼接。检索器不训练，本文实验固定检索器以控制这部分变化。相关工作中描述的某方法原生检索方式，不应与本文统一实验设置混为一谈。（p. 4；Appendix A，p. 18）

整理器读取当前任务和轨迹，输出三类信息：相关经历、可迁移策略、对当前任务的具体指导。简报只服务此次执行，用完不存回库。附录提示词要求 WebShop 不照搬商品 ID，τ²-bench 不照搬历史客户、预订、价格或日期，当前实例信息应重新查询。（pp. 14–15）

执行器在任务上下文中接收简报并与环境交互，权重冻结。主实验 ALFWorld/WebShop 的执行提示只保留最近 3 轮历史，最多行动 30 轮；τ²-bench 最多 200 轮。因此，本篇结果与特定的上下文管理、动作预算一同成立。（pp. 15–18）

3. GRPO 为什么适合这里

对每个训练任务检索一次，生成 $G=8$ 份候选简报，执行器分别尝试后得到 $r_t^{(i)}$。组内优势是：

论文省略标准差归一化，正文给出的核心目标为：

这两处公式在原文没有公式编号，定位为 Sec. 3，pp. 4–5。直觉是提高同组中带来较高奖励的简报的概率，压低较差者；没有价值网络。ALFWorld 使用二元成功奖励，WebShop 训练使用连续任务分数。虽然方法段还讨论 τ²-bench 的二元奖励，本篇没有在该基准上训练整理器。

正文公式不是完整实现规格。 Table 7（p. 19）还报告了 clip 范围 $(0.2,0.2)$、token-mean 聚合以及系数 $10^{-3}$ 的 KL loss；“没有额外内容质量奖励”不代表“没有任何正则项”。KL 不放进 reward，但以 loss 项启用。

教学计算，不是论文实验数据：若 8 份简报中 2 份取得二元奖励 1，其余为 0，均值是 0.25，成功简报的优势为 0.75，失败简报为 −0.25。若全部获得相同奖励，这一组的任务奖励优势为 0；这说明即时奖励消除了跨任务等待，却没有保证每个采样组都提供有用梯度。

4. 训练与部署必须分开理解

训练库来自基础执行器，测试库来自已有简报帮助下的执行器，存在轨迹分布偏移。作者以“训练 100 步后重建库，再训练 50 步”的消融检查它，而非在主训练里实时维护同一个流式库。（Sec. 3，p. 5；Sec. 4.2，pp. 8–9）

教学伪代码（展开 judge 与 verifier 的区别）：

M = empty bank
for batch in randomly ordered test tasks:
    accepted = []
    for x in batch:                 # 批内共享本批开始时的 M
        traces = BM25(x, M, k=3)
        payload = curator(x, traces)
        trajectory = frozen_executor(x, payload)
        record_metric(environment_verifier(trajectory))
        if executor_as_judge(x, trajectory).success:
            accepted.append(raw trajectory)
    M.extend(accepted)

这是测试期间的跨任务经验积累，不是测试时 RL。库的增长也不同于持久的参数学习。

三：实验

1. 基准、指标和统计口径

来源：Sec. 4，p. 5；Tables 1–2，pp. 6–7；Appendix A，p. 18。主表按 0–100 标度呈现；WebShop 的 Score 能反映部分匹配，SR 表示成功任务比例，不能把 Score 的增加写成 SR 的增加。Macro 对三个域等权，micro 按任务汇总；域规模未在文中明确列出，不反推其确切数量。

表中的“±”是多次不同任务顺序运行的标准差，不是置信区间，也未被说明为多个独立 RL 训练种子的方差。论文未提供配对显著性检验；本笔记用“均值提高／下降”，不把标准差直接当成显著性检验。

2. 基线和命名

整理器模型与执行器模型是两个维度。例如 “GPT-5.4 执行器 + JitMem” 使用的是训练后的 Qwen3-8B 整理器，不是训练后的 GPT-5.4。（Sec. 4，p. 5）

3. 实现中会改变结论的配置

• RL 主设置：100 步、学习率 $10^{-6}$、batch 32、每任务 8 份简报、前 5 步 warmup。训练执行器为 non-thinking Qwen3-8B。
• 测试 Qwen3-8B 执行器在 ALFWorld 开 thinking，在 WebShop 关闭；Qwen 整理器均为 non-thinking。由此可见，“用 Qwen 训练再在 Qwen 测试”仍可能有推理模式差异。
• 测试 Qwen 整理器温度 0.6、top-p 0.95、top-k 20；训练简报采样温度 1.0。执行器温度 1.0、单次最多输出 4096 token。
• 整理器训练 prompt 上限 32768 token；response 上限为 ALFWorld 8192、WebShop 4096。原文没有充分报告超长原始轨迹的具体截断策略。
• 单机 8×H200，作者报告 ALFWorld 一次训练约 21 小时，WebShop 约 27 小时；未据此推算未经报告的总实验开销。（Appendix A，pp. 18–19）

4. 基线复现口径值得单独保留

Table 1 的 Qwen/Gemini 无记忆值与 Table 6 的 SkillOS “Reported” 行一致，而作者复现的数值不同。例如 Qwen ALFWorld：主表 47.9，复现 thinking 为 42.1、non-thinking 为 34.5；Qwen WebShop SR：主表 9.8，复现 non-thinking 为 8.6。作者还调整 Qwen 的提示和 WebShop 搜索指导。（Tables 1、6，pp. 6、18）

使用较高的既有 SR 作为无记忆比较值，可以使这个差值较保守，但不自动保证全部比较完全等配置。复现时应逐行确认 baseline 来源、提示和推理模式，不宜把主表每一项都当作本研究在同一管线下重新跑出的结果。另一个文字与表格的不一致是 Table 6 图注称所有复现值均不高于既有报告，然而 Qwen non-thinking 的 WebShop Score 36.4 高于 33.3；SR 8.6 仍低于 9.8。

四：结果

4.1 Main Results：先区分“读时设计”与“RL 增益”

A. 未训练整理器：有效，但不是普遍占优。

来源：Table 1，p. 6。更严谨的结论是“读时架构在多项匹配配置下有收益”，不是“与模型能力无关”。尤其 Qwen WebShop 的 JitMem-base Score 为 32.5，低于 SkillOS-base 38.6，也低于主表无记忆 33.3。

B. RL 训练：主要的同模型比较。

以上整理器均以 Qwen3-8B 为基础。来源：Table 1，p. 6，3 次运行的均值±标准差。GPT 执行器区块未列 RL SkillOS，不补造对应比较。

Qwen 下 JitMem 对 SkillOS 的差值为 ALFWorld +16.2 pp、WebShop Score +20.5 分、WebShop SR +16.3 pp。这些都是绝对差值；32.8 相对 16.5 的相对增长约 98.8%，它与“+16.3 个百分点”是不同口径。对 JitMem-base 的 RL 增益为 ALFWorld +16.9 pp、WebShop +21.1 pp。

更强的提示式整理器仍可在某些任务领先：Gemini 执行器下 JitMem-gemini 的 WebShop SR 61.0 高于训练 Qwen 整理器的 50.5；GPT 执行器下 JitMem-gpt 为 47.5，高于 45.4。因此本文没有证明小模型 RL 整理器优于所有强模型零样本方案。

C. τ²-bench：域间差异比总均值更重要。

来源：Table 2，p. 7；所有整理器均未经 RL 训练，4 次运行。+3.9 pp 是 micro 的 75.6−71.7；macro 的提升是 3.0 pp。最大域收益来自 Telecom：相对 ReasoningBank +11.0 pp；Airline 和 Retail 未呈现同样优势。

作者据此推测读时整理尤其有利于复杂程序性指导。这个解释合理，但三个域同时在任务结构、基线能力等方面不同，还不能把域间差异单独归因到“程序复杂度”。

D. 执行器迁移：学到的整理策略有一定可迁移性。

Table 3（p. 7）固定在 ALFWorld，用 Qwen 执行器训练的整理器移到 GPT-5.4 后达到 86.7±0.7；直接用 GPT-5.4 执行器训练则为 88.1±0.9，差 1.4 pp。未训练整理器为 79.3±3.6。它支持跨执行器复用，不等于跨任务域迁移；论文分别讨论 ALFWorld/WebShop 的训练，并没有证明一个通用 checkpoint 覆盖所有基准。

E. 效率：执行器端更省，但不是总成本结果。

来源：Table 4，p. 7；ALFWorld，GPT-5.4 执行器。JitMem 相对 ReasoningBank/SkillOS-base 输入 token 减少约 50.3%/56.3%，步数减少约 28.4%/31.4%。相对无记忆，输入仍从 9.0K 增至 9.8K。

这些 token 是多步执行器侧的任务累计开销，不是单份简报长度。表格未计入整理器读取原始轨迹并生成简报、judge、检索、持久存储及训练成本，不能据此声称端到端延迟、总 token 或费用降低同等比例。

4.2 Ablation Study：什么支撑了收益

原图 2(a)，p. 8。列为 Qwen、Gemini、GPT 三个执行器，上排 ALFWorld SR、下排 WebShop SR；每组最后一根柱为完整 JitMem-base。纵轴刻度按子图变化，不宜只凭柱高跨图比较；精确数值在 Table 9（p. 21）。

A. 未训练整理器的三个设计选择。

跨执行器，去任务条件使 ALFWorld 下降 1.0–3.1 pp、WebShop 下降 2.6–4.6 pp；取消成功筛选分别下降 1.5–2.9 与 2.3–3.4 pp；改为写时蒸馏分别下降 1.7–2.9 与 6.8–8.2 pp。（Sec. 4.2，p. 8；Table 9，p. 21）

这些单因素去除实验支持“每项设计在当前系统中都有贡献”。它们没有估计各因素的交互作用，不能严格证明统计独立性或可加性。去掉当前任务文本时，检索仍由当前任务驱动，故消融移除的是整理器的显式任务条件，不是系统中的全部任务信息。

B. RL 的收益是否依赖真正读到经历？

来源：Table 9，p. 21；Fig. 2(b)，p. 8。去轨迹损失 14.8/15.2 pp，去任务条件损失 11.4/10.4 pp，支持 RL 学会结合任务与经验来生成更有用的上下文。

需要修正正文较强的表述：p. 8 写去轨迹会降至或低于未训练版本，但 Qwen 下 62.6 仍高于 JitMem-base 的 60.5，WebShop 17.6 也高于 11.7；GPT WebShop 40.9 也高于 39.3。可成立的结论是“训练收益很大程度上依赖检索材料”，而不是“没有检索就没有任何训练收益”。原文也未充分说明每项 RL 去除条件是否单独重训，不能把它们无条件解读为完全匹配的训练因果实验。

C. 刷新训练库与热启动。

来源：Table 5，p. 8；解释延续到 p. 9。刷新对 Qwen +2.8 pp、GPT +0.9 pp，Gemini 不变；因为同时增加训练 50 步，没有“原库再训练 50 步”的匹配对照，不能把全部增益归因到库刷新本身。

热启动没有一致正向收益。正文说差异均在标准差内，但 GPT 从 45.4±0.0 到 44.1±0.4 的差为 1.3 pp，不支持这句话的字面含义。这不等价于证明统计显著下降，因为缺少配对结果与检验；稳妥结论是“本实验未显示稳定的热启动收益”。也没有按早期任务位置报告结果，故不能据此证明完全没有冷启动损失。

4.3 Qualitative Analysis：简报确实随任务改变，但个案不是保证

原图 3，p. 9。上方是共同的冷却鸡蛋并放进微波炉的经历；下方左侧突出状态变化，右侧突出报纸放置与目标位置检查。这个图说明“同一轨迹可以有多种用途”。但左侧简报还出现把热土豆放入冰箱冷却的建议，与当前任务的热状态要求存在张力，所以它不能单独作为所有指导均正确的证据。

原图 4，p. 10。两栏分别是 JitMem-base 和 RL 后的 JitMem，任务是用台灯检查碗。未训练版本停在笼统的检查动作；训练版本补上到台灯位置再利用台灯检查的流程。作者将其解释为环境相关的程序语义；该个案与消融方向一致，但不能量化整体机制或排除其他解释。

附录 B 的三个示例（pp. 22–24）进一步展示：ALFWorld 把不同对象任务中的“找物、清洗、放置”组合起来；WebShop 从服饰经历提取属性选项选择方法；Telecom 从既往故障对话提取设备排查、账户查询及操作前确认的顺序。它们帮助理解输出格式，不是额外的独立成功率实验。

Appendix B：检索数量和训练曲线

Table 8（p. 20）将 WebShop 的 $k=3$ 改为 $k=5$：Qwen SR 32.8→32.8，Gemini 50.5→48.6，GPT 45.4→45.3。它支持这两个小检索量之间没有收益保证，不支持任意 $k$、大规模库或长轨迹下都不敏感。

原图 5，p. 24。横轴均为 0–100 个训练步骤；左列为 SR，右列为执行轮数；上排训练，下排验证。成功率总体上升，执行轮数总体下降，但并非严格单调。

原图 6，p. 25。上排训练、下排验证；三列分别为 SR、平均 Score、执行轮数。总体趋势与 ALFWorld 一致，后段仍有波动。作者注明验证使用抽样测试任务流；文中未清晰说明该子集是否参与超参数或 checkpoint 选择，应在复现时明确数据隔离协议。曲线支持可训练性，没有提供跨训练种子的稳定性统计。

五：结论

1. 证据最扎实的贡献

第一，经验库可以保留原始轨迹，把任务相关的信息选择放到检索之后；这一设计在多个基准和执行器配置中有实际收益。第二，同任务奖励使训练整理器变得直接，Qwen 配置下对已训练写时基线的提升很大。第三，冻结执行器、单独训练整理器提供了模块化接口，ALFWorld 的迁移实验展示了跨执行器复用的可行性。

2. 作者已承认的限制

Sec. 5（p. 10）指出：BM25 在大而多样的库上可能成为瓶颈；整理器增加一次 LLM 调用；简报格式按基准人工设计；当前每个任务只整理一次，尚未随执行中的新观察按步调整。论文提出更强检索、联合优化输出格式和更细粒度整理，均属于未来工作。

3. 本次阅读补充的边界

• 成本边界：执行器 token 与步数下降，无法替代包含整理器、judge、存储和训练的端到端核算。
• 质量门边界：成功由 LLM 判断，未报告 judge 的精确率／召回率及错误累积。筛掉失败轨迹的结果不等于所有任务都不应学习失败经验。
• 对照边界：读时整理、原始存储和过滤共同构成一个系统；单因素消融支持贡献，却没有完整分解所有交互，也没有等总计算预算的充分对照。
• 训练边界：总体目标写作累计任务成功，但实际主要优化固定库下的同任务奖励；它不是对未来入库影响的完整长期回报优化。
• 统计边界：3／4 次不同任务顺序的均值与标准差，不能独自支撑强显著性或普适性主张。
• 复现边界：需澄清部分基线值来源、未报告的训练／库规模、训练任务检索时是否排除自身轨迹、超长输入处理、验证子集用途和 judge 配置。缺失说明不能直接当成已发生数据泄漏的证据。

4. 有针对性的后续实验（本次分析建议）

1. 在固定 executor 与相同端到端预算下，比较直接拼接原始轨迹、普通摘要、JitMem-base、RL JitMem，记录全系统 token、延迟、成功率和存储增长。
2. 用配对任务顺序和多个独立训练种子，测试任务条件、成功过滤、原始存储的交互，而不只做逐个去除。
3. 对固定库继续训练与刷新库继续训练各增加 50 步，分离额外训练和库分布变化的作用。
4. 分别报告早期／后期任务、库规模、检索相关度及 judge 错误，检查冷启动和长期污染。
5. 在完全隔离的验证集上选择超参数，并评估未训练过的任务类型或领域，区分执行器迁移与任务泛化。

5. 组会讨论切入点

最值得讨论的是：当原始经验可保存且检索成本可控时，应当把“长期保存什么”与“当前读什么”拆成两个决策。JitMem 为后一项提供了明确、可训练的接口。真正部署前，仍要测量新增整理成本、质量门可靠性，以及该接口在自己的任务分布里是否胜过简单检索。

材料说明：TeX 源码获取成功；正文依照 main.tex 的实际引用读取，而非把摘要或 HTML 当作全文。图件来源、原图号和 PDF 页码记录于 figures/provenance.json。中英文成品共用同一版本的原始材料；图表为原图复用或明确标注的数值重排，没有生成式实验图片。