版本与下载

Proteus：渐进激活记忆容量的中文精读笔记

原题：Proteus: Incremental Memory Activation for Long-Context Sequence Modeling
作者：Reza Bayat、Ali Behrouz（共同一作）、Vahab Mirrokni、Aaron Courville。
版本：arXiv:2608.16844v1，2026-08-17 提交；本次获取与研读：2026-09-16。
材料：原文 PDF、同版本作者源码 ../source/tex/files/main.tex、实际引用的三份 tables/*.tex 及四幅原图。PDF 共 18 页，以下均使用从 1 开始的 PDF 页码，与本文印刷页码一致。
阅读范围：正文 Sec. 1–7、全部实验表格、图 1–4、附录 A；参考文献用于定位作者所述背景，未逐篇阅读其引用论文。作者 TeX 下载成功；本文是分析而非全文翻译。
配套交付：英文汇报 PDF、可编辑 Beamer TeX，适合约 25 分钟组会。

论文总览

核心问题不是记忆总量够不够，而是同样的容量应当在什么时候开放。 Proteus 将固定大小的神经记忆划分为多个块，开始只允许少量块参与读写，再随 token 位置逐步开放。作者希望早期容量瓶颈促使模型压缩历史，后期新开放的块容纳后续内容，缓解干扰。

最稳妥的实证结论是：四种骨干在两个规模上的下游平均准确率都提高，三种骨干在所测六项 LongBench 任务的均分都提高，部分 16K 困难检索任务的增益较大。但这不意味着所有单项都提高，更不意味着已经证明“早期污染”是唯一原因。论文没有直接测量记忆占用、压缩信息量或干扰程度，也没有报告重复实验误差。

一个必须记住的边界：训练窗口为 8K，评测沿用原调度；超出 8K 时已经全部激活。 16K–32K 的优势是已有状态/训练产生的延续效果，不是记忆继续长大。

结构地图

原章节	作用	PDF 页码与主要证据
Abstract / Figure 1	核心主张与机制概览	p.1，图 1
1 Introduction	固定记忆的长上下文瓶颈	p.2
2 Preliminaries	关联记忆、在线更新、MLP 参数视角	pp.3–4，式 (1)–(6)
3 Incremental Memory Activation	容量调度定义及锁定不变量	pp.4–5，定义 2、式 (7)
4 Proteus / 4.1 Proteus for Memory	分块、门控读写、位置调度	pp.5–6，式 (8)–(13)
4.2 Extension to Hope and MLP Blocks	训练过程中的参数激活	pp.6–8，式 (14)–(18)
5 Experiments / 5.1 Language Modeling and Common-Sense Reasoning	设置与通用能力	pp.8–9；表 1 在 p.7
5.2 Needle-in-Haystack	4K/8K/16K 精确检索	pp.9–10，表 2 在 p.9
5.3 Long Context Understanding	实际检索与六项 LongBench	p.10，图 2 在 p.8、表 3 在 p.10
6 Related Work	与扩容记忆、动态计算等的区别	pp.10–11
7 Conclusion	结论、限制与未来方向	pp.11–12
References	背景文献目录	pp.13–17
A Ablations and Analysis	分块数与位置困惑度	p.18，图 3、图 4

一：动机

1.1 从存储预算转向开放时机

标准注意力保存历史键值，长序列的注意力计算代价高；固定状态的循环记忆将历史压入有限容量，以效率换取信息损失。作者认为常见改进主要集中在初始化、更新规则和记忆结构，而忽略了“所有参数从第一个 token 起就可用”这一默认选择。（Sec. 1–2，pp.2–4）

作者的解释是：早期 token 面对空记忆，可以利用大量自由度拟合自身；后续 token 进入时，更容易与已有写入冲突。Proteus 的两部分设计分别回应这一解释：前期限制容量，后期释放未使用容量。这里的“污染”是作者对失败模式的解释，并非经过独立定义和定量测量的实验指标。

1.2 不应误解为动态扩容或冻结旧记忆

总容量 $C$ 恒定，变化的是活跃容量 $c(t)\le C$。旧块解锁后仍可继续读写，并未变成只读历史档案；新 token 也不只写入新块。因此，方法可能减少干扰，但并不保证旧信息不再被覆盖。它没有重新回放早期 token，也没有在每次扩容时重新求解全历史。

图 1：逐步开放固定记忆的读写范围

来源：原文图 1，PDF p.1，作者原图。按从左到右的时间顺序读图：灰色为锁定块，白色表示激活块，着色部分表示过去已使用的记忆。底部是上下文块，上部展示随时间开放的记忆范围；“past”块仍在读写范围内。

二：方法

2.1 关联记忆与两层学习

论文将键映射到值的算子记作 $\mathcal M$。$k_t,v_t,q_t$ 分别是输入投影得到的键、值、查询。内层损失 $\tilde{\mathcal L}$ 衡量记忆对键值关联的拟合，外层损失 $L$ 是语言模型的 next-token prediction 训练目标，不能混为一谈。（Sec. 2.1–2.2，p.3，式 (1)–(2)）

$$ \mathcal M_t=\mathcal M_{t-1}-\theta_t\nabla\tilde{\mathcal L}(\mathcal M_{t-1};k_t,v_t),\qquad y_t=\mathrm{Read}(\mathcal M_{t-1},q_t). $$

$\theta_t$ 是记忆的在线更新步长，而非全模型参数向量。线性记忆的读取可用矩阵乘法，MLP 记忆则是前向计算。训练会学习模型参数以及如何写入记忆；推理时循环状态仍随输入更新，这不同于在推理时重新训练整个模型。

论文用三类更新建立背景：Hebbian 累加键值外积；delta rule 用重构误差修正已存关联；Titans 在更新中加入动量 $S_t$ 和遗忘因子 $\alpha_t$。Proteus 意图改变可访问的参数子集，而不是另造一套内层目标。（式 (3)–(5)，pp.3–4）

符号核验提醒（本次分析）：原文式 (3) 使用 $v_tk_t^\top$，对应列向量约定下 $\mathcal M\in\mathbb R^{d_v\times d_k}$；但 p.5 写作 $d_k\times d_v$，式 (4) 又将 $(I-\theta_t k_tk_t^\top)$ 放在 $\mathcal M$ 左侧。若统一采用列向量且 $\mathcal M k_t$ 预测 $v_t$，由其平方损失推导应为

$$ \mathcal M_t=\mathcal M_{t-1}(I-\theta_t k_tk_t^\top)+\theta_t v_tk_t^\top. $$

这是对维度一致性的推导提醒，不是论文实际印出的式 (4)，也不据此推断实验代码必然错误。

2.2 门控必须同时作用于读取和写入

把记忆坐标展开后划分为 $E$ 个连续块，$g_t$ 是与记忆参数形状对应的 0/1 掩码：

$$ \mathcal G_t(\mathcal M)=g_t\odot\mathcal M,\qquad \mathcal M_{t-1}^{(g)}=\mathcal G_t(\mathcal M_{t-1}). $$

$$ \mathcal M_t=\mathcal M_{t-1}-\theta_t\left[g_t\odot\nabla\tilde{\mathcal L}(\mathcal M_{t-1}^{(g)};k_t,v_t)\right], \qquad y_t=\mathrm{Read}(\mathcal M_{t-1}^{(g)},q_t). $$

来源：Sec. 4.1，p.6，式 (8)–(11)。梯度在门控状态上计算，再仅将活跃坐标的增量写回完整状态。锁定坐标满足

$$ (\mathbf 1-g_t)\odot\mathcal M_t=(\mathbf 1-g_t)\odot\mathcal M_{t-1}. $$

这条式 (7) 的不变量很关键：门控状态可以把未激活部分暂时置零，但存储的完整状态不应被这种读取掩码永久清零。只屏蔽梯度、却允许读出锁定参数，也不等价于定义中的方法。原文没有逐个骨干展开行/列分块、MLP 偏置和辅助状态的具体实现，复现时不能把这些细节当作已确定。

2.3 均匀前缀调度

令 $N$ 为训练上下文长度，$E$ 为块数，$d=\dim(\mathcal M)/E$ 为每块的坐标数（不能整除时最后一块吸收余数）。

$$ \Delta=\max\left(1,\left\lfloor N/E\right\rfloor\right),\qquad k(t)=\min\left(E,1+\left\lfloor(t-1)/\Delta\right\rfloor\right), $$

$$ g_t[j]=\begin{cases}1,&1\le j\le k(t)d,\\0,&\text{其他。}\end{cases} $$

$k(t)$ 表示激活的块数，与键向量 $k_t$ 是不同符号。来源：Sec. 4.1，p.6，式 (12)–(13) 及两式之间的定义。$E=1$ 退化为原骨干；默认 $E=16$。

教学例子（由公式计算，非额外实验）：取 $N=8192,E=16$，则 $\Delta=512$。位置 1–512 开放 1/16，513–1024 开放 2/16，位置 4096 开放 8/16；第 16 块在 7681 开放，故不是恰好到 8192 才第一次全部开放。16K/32K 评测继续保持全开，不拉伸这个调度。

概念伪代码如下，仅展示论文的普通梯度下降情形：

for each token t:
    g = prefix_mask(min(E, 1 + floor((t-1)/Delta)))
    active_state = g * full_state
    output = Read(active_state, query[t])
    delta = -step_size[t] * grad(inner_loss(active_state, key[t], value[t]))
    full_state = full_state + g * delta

对于含动量、遗忘、权重衰减的骨干，需要确保实际完整增量也满足锁定不变量；以上不是生产实现或作者代码。

2.4 Hope / MLP 扩展改变了调度的时间轴

Sec. 4.2（pp.6–8）将同一思路推广到训练数据流中的 MLP 参数，通过

$$ \boldsymbol\theta_{i+1}=\boldsymbol\theta_i-\eta_{i+1}(g_{i+1}\odot\boldsymbol e_i) $$

限制更新，其中 $i$ 是训练样本/更新索引，不是前面单条上下文中的 token 位置。Hope-Attention 的注意力输出依次经过更新频率不同的多个 MLP 块（式 (16)–(18)）；论文将其作为单一架构上的概念验证。不能据此声称去掉了 Hope 中注意力的键值缓存或二次计算成本。

作者还给出 AdamW 的门控梯度动量更新（式 (15) 及 p.8 未编号公式）。需要注意一个未澄清处：式 (15) 的衰减 $\alpha_{i+1}\boldsymbol\theta_i$ 没有写掩码，即便从未激活且动量为零，非零参数也可能因权重衰减而变化；这与正文“只有选中参数被更新”的说法并不完全一致。若掩码单调增长，尚未激活参数不存在历史非零动量的问题，但衰减问题仍在。原文未详细给出 MLP 的前向读取门控、调度如何映射训练步数、每块更新频率等细节，应作为复现待确认项，而非自行填补。

2.5 成本与机制能主张到哪一步

固定参数量和固定最大记忆预算是设计层面的明确特征；“no additional cost”则没有相应吞吐、墙钟时间或峰值显存测试支撑。稠密张量上乘掩码不会自动产生稀疏内核加速。本次分析认为更准确的表述是：没有新增可训练参数或扩张主记忆容量，实际运行开销未量化。

三：实验设计

3.1 公共设置与公平比较

项目	论文报告内容
训练语料	FineWeb
模型规模 / token 预算	760M / 50B；1.3B / 100B
训练上下文	8K
优化	AdamW，学习率 $4\times10^{-4}$，cosine annealing，weight decay 0.1
batch	0.5M tokens
Proteus	默认 16 块
配对骨干	Hope-Attention、SWLA（表 1 中 $c=2$）、Comba、Titans
参考模型	表 1：Transformer++、RetNet、DeltaNet；表 2：Transformer

来源：Sec. 5，p.8。最直接的证据来自同一骨干加入 Proteus 前后的比较；不同规模同时改变了训练 token 数，不能把跨规模差异完全归因于参数量。

3.2 指标和任务口径

语言建模：Wikitext、LAMBADA 困惑度（ppl）越低越好。LAMBADA 同时有准确率列，不能与其 ppl 混淆。
下游能力：LAMBADA 加 PIQA、HellaSwag、WinoGrande、ARC-e、ARC-c、SIQA、BoolQ 共八列准确率。HellaSwag 和 ARC-c 用表中 acc_n（归一化准确率），其余为 acc。Avg. 是八列算术平均，并非只有七个常识任务，也不是按样本量汇总的准确率。
NIAH：S-NIAH-1/2/3 对应 pass-key、数字、UUID；MK/MQ/MV 分别是多键、多查询、多值。表 2 比较 4K、8K、16K 的检索得分，越高越好；生成细节、样本数及匹配实现未完整报告。
实际检索：SWDE、SQuAD、FDA，图 2 横轴为上下文长度，纵轴为 Accuracy。图中取点为 512、1K、2K、16K；不把图上的曲线近似读数写成精确结果。
LongBench：只报告 Narrative、Qasper、MultiField、Hotpot、2WikiMulti、Musique 六项及其均值；这是所选六项的结果，不是完整 LongBench 总榜。原文未详列评测脚本、各任务精确度量实现，故这里称“任务得分”，不擅自统一称为 accuracy。

NIAH、检索图、LongBench 未明确逐项标出采用 760M 还是 1.3B、完整生成/截断设置；附录消融也缺少完整配置。全文未报告随机种子、多次运行方差、显著性检验和速度评测，因此小幅优势应按单次报告结果理解。

四：结果与证据

4.1 语言建模与常识推理：平均准确率稳定，单项并非全胜

下表来自表 1（p.7）；提升由所显示均分相减，单位是百分点。

规模	骨干	基线 Avg.	+Proteus	增量
760M	Hope-Attention	53.15	53.99	+0.84
760M	SWLA	50.12	50.90	+0.78
760M	Comba	51.43	52.15	+0.72
760M	Titans	52.65	53.36	+0.71
1.3B	Hope-Attention	56.93	57.30	+0.37
1.3B	SWLA	53.67	54.20	+0.53
1.3B	Comba	55.42	56.00	+0.58
1.3B	Titans	56.95	58.00	+1.05

760M Hope+Proteus 的 Wiki/LAMBADA ppl 为 19.87/19.72，两个指标均是该规模表中最佳；1.3B Titans+Proteus 的 Wiki ppl 为 14.94、Avg. 为 58.00，均为该规模最佳。但 1.3B 的最低 LAMBADA ppl 是 Hope+Proteus 的 13.01，而非 Titans+Proteus 的 13.03；Sec. 5.1 在 p.9 对 Titans“两项 ppl 均最低”的文字概括不准确。

反例同样重要：1.3B Hope 的 Wiki ppl 从 15.66 升至 15.70；1.3B SWLA 的 LAMBADA ppl 从 16.95 升至 17.18。760M Hope 的 PIQA 从 70.4 降至 70.2。应表述为“所有配对平均准确率提高，多数困惑度改善”，而非“所有任务一致改善”。

4.2 NIAH：长上下文的困难检索更受益，但仍远未解决

从表 2（p.9）选择 16K 的代表性配对：

任务	骨干	基线 → Proteus	提升（百分点）
S-NIAH-2	Comba	13.4 → 21.2	+7.8
S-NIAH-2	Titans	69.4 → 74.2	+4.8
S-NIAH-3	Titans	21.4 → 29.8	+8.4
S-NIAH-3	Hope-Attention	50.0 → 54.4	+4.4
MK-NIAH-1	Titans	11.8 → 16.8	+5.0
MQ-NIAH	Hope-Attention	30.6 → 34.2	+3.6
MV-NIAH	Hope-Attention	23.0 → 25.8	+2.8

例如 21.4→29.8 是 +8.4 个百分点，相对提升约 39.3%，不是 +8.4%。但 29.8 的绝对得分仍低，不能称为解决了 16K UUID 检索。16K 多针任务中，Comba/Titans 加 Proteus 后仍明显落后于 Transformer/Hope。

短上下文并非总有收益：Comba 的 S-NIAH-3 在 4K 为 62.4→60.8；Hope 的 MK-NIAH-1 在 4K 为 81.4→80.8。容易的 S-NIAH-1 多数已接近 100，增益空间有限。此处的“长序列收益”与早期压缩解释相容，但不能排除训练正则化等其他机制；作者没有做只限制读、只限制写或只增加后期容量的分离消融。

4.3 长上下文理解：检索曲线和 LongBench 应分开读

图 2：三个实际检索任务的长度变化

来源：图 2，PDF p.8。三个面板依次为 SWDE、SQuAD、FDA；红色为 Hope 家族，蓝色为 Comba，橄榄色为 Titans，深浅色对应是否加入 Proteus。应先在同一面板、同一长度、同一骨干内比较，再考察随长度变化的差距。

SWDE/FDA 中 Comba 和 Titans 随长度上升明显退化，Proteus 的长端曲线较高；Hope 家族整体较强，改进通常更小。SQuAD 曲线并不是随长度普遍下降，所以不能把正文关于退化的概括无条件套到所有面板。图中无误差条，部分差距很小，无法单凭图作统计显著性判断。（Sec. 5.3，p.10）

表 3（p.10）的六项 LongBench 均分如下；此处是得分差，不称统一准确率百分点。

骨干	基线平均	+Proteus	得分差
Hope-Attention	15.72	16.65	+0.93
Comba	13.05	13.23	+0.18
Titans	13.80	14.15	+0.35

Hope 六项均升，其中 MultiField 19.2→20.9，Musique 6.3→7.4；Comba 在 Hotpot 上 14.6→14.5，Titans 在 Musique 上 6.7→6.7。整体改善有跨骨干一致性，但幅度不大，而且评测范围是六项子集。

4.4 附录 A：容量瓶颈存在甜点区间

图 3：分块数消融

来源：图 3，PDF p.18。横轴 $E\in\{1,4,8,16,32\}$，纵轴验证困惑度，越低越好。$E=1$ 是完全不调度的基线；图中 1→16 改善，32 回升，16 是已测设置中最佳，不意味着所有模型、数据和预算都应设 16。$E=32$ 起步只给 1/32 容量，可能过度限制早期表示。图没有数字标签或误差条，此处不把目测值当精确测量。增加 $E$ 同时改变初始容量和激活间隔，因此并未独立分离这两个影响。

图 4：随位置/上下文长度变化的困惑度

来源：图 4，PDF p.18；红色为 Titans，蓝色为 Titans+Proteus。正文称其为按 token 位置统计，图中横轴标为 Context Length、从 2K 到 32K。蓝线在所有展示取点上更低，在 32K 仍保留优势。正文说差距在 8K 附近最大，但图上 6K 的间隔看起来更大；这里不将文字中的峰值位置当作精确事实。不能从离散点推断“每一个 token”都改善，也不能因图延伸到 32K 就说所有长上下文任务均验证到了 32K。

五：结论、局限与复现关注点

5.1 可靠贡献

Proteus 提供了一条与记忆结构、内层目标和更新规则不同的设计轴：在固定预算下安排容量何时可用。跨四骨干、两个规模的均分增益，以及长上下文困难检索结果，使它值得作为记忆模型的简单基线尝试。它是实证方法论文，没有给出证明均匀调度最优或一般性优于静态容量的定理。

5.2 作者承认的边界

Sec. 7（pp.11–12）承认调度是人工固定的，最佳形式未知；MLP 扩展只在一个架构上做概念验证；在已饱和的简单任务上作用有限。数据依赖调度、与真正扩容记忆结合、推理时拉伸 $\Delta$、持续适应等均属于未来方向，不是本文已经完成的结果。

5.3 本次分析建议如何理解与复现

区分现象和解释：指标提升有直接证据，“更干净的压缩”“更少干扰”主要是机制解释。若要验证因果，应加入记忆干扰测量和读写门控分离消融。
锁定必须端到端成立：核查遗忘、动量、权重衰减和完整写回是否改变未激活参数；原文 AdamW 表达留下了歧义。
区分两种时间轴：序列内状态调度与训练过程 MLP 参数调度不能使用同一个“8K 解锁”的直觉一概解释。Hope 扩展的实现细节需要进一步确认。
固定预算不等于实测零开销：应补吞吐、延迟和内存评测，不能从掩码形式直接推断加速。
保留负例和统计限制：均分提高不保证每个任务提高；没有方差时，+0.18 这类均分增益尤其需要重复实验。
保持源码与最终 PDF 一致：本文使用实际参与主文件的三张表，数值以最终 PDF 核验；对维度问题及最佳 ppl 的文字矛盾分别标明，不静默修正后再冒充原文结论。

组会可围绕一个问题展开：在固定容量预算下，收益究竟来自早期正则化、后期备用空间，还是两者互动？本文给出了值得跟进的证据，但尚未把三者完全分开。