# Memory by Design: Probabilistic Sequence Layers：中文精读笔记

- 作者：Matthew Dowling、Hyungju Jeon、Cristina Savin、Il Memming Park。
- 版本：**arXiv:2605.31163v1**，提交于 2026-05-29；本次获取及研读日期：2026-09-22。只分析指定 v1，不混入后续版本。
- [arXiv 原文](https://arxiv.org/abs/2605.31163v1) · [本地 PDF](../source/paper.pdf) · [作者 TeX](../source/tex/files/main.tex) · [英文汇报](slides.en.pdf)。
- 材料与范围：已获取同版本 PDF、TeX 源码及原图；阅读主文件 `main.tex` 的全部正文和附录 A–G，核对 27 页 PDF 的章节、公式及关键图表。参考文献用于定位，不声称逐篇阅读。本文页码均为 PDF 从 1 开始的页码，与印刷页码一致。未执行作者源码，未复训模型。

## 论文总览

**核心问题：高效循环记忆层面对相关地址反复写入时，如何避免新证据破坏已经学好的关联？** 作者把层更新理解为一个辅助概率模型的精确贝叶斯滤波：均值保存内容，协方差保存“哪些地址方向已被充分确定”。新写入的方向和强度由该协方差共同决定。

最有说服力的贡献是机制层面的：完整协方差使写入方向可以偏离原始 key；各向同性重置则退化为 Delta-rule 更新。确定性碰撞实验给出可推导的检索平台，学习实验检验训练范围外的碰撞。340M 混合模型的证据更温和：RULER 六类 NIAH 平均分提高，但困惑度恶化，且仅一个训练种子、16k 绝对检索分仍低。

本版本有数值、指标和文字表述不一致。下文保留支持主机制的证据，同时在“五：结论”逐项说明，不把不一致的表格合并为精确结论。

## 结构地图

| 原文章节 | 作用 | PDF 页码与证据 |
|---|---|---|
| 1 Introduction | 提出显式记忆假设 | 1–2 |
| 2 The design-model framework | 写入、读取、输出规则分离 | 2–5；图 1–2 |
| 2.1 The Bayesian Layer design model | 线性高斯模型、均值和协方差 | 3–4 |
| 2.2 The Bayesian Layer recurrence | 精确滤波递推 | 4；式 (9)–(13) |
| 2.3 Anatomy of the update | 不确定性塑造写入方向 | 4–5；式 (14)–(16) |
| 3 Specializations of the design model | Delta-rule 与 additive 两族 | 5–6；表 1 |
| 4.1 Controlled collision recall | 确定性与学习外推 | 7–8；图 3 |
| 4.2 The Zoology MQAR benchmark | 离散词元绑定、更新与间隔 | 8；图 4 |
| 4.3 Distillation and long-context retrieval | 340M 模型替换层实验 | 8–9；图 5 |
| 5 Discussion | 相关工作、限制、结论 | 9–10 |
| A / B / C | 加性模型推导、Kalman 形式、Kronecker 闭合 | 12–14 |
| D Filtering implementation | 分块计算、复数动态、分组噪声 | 14–15 |
| E Controlled Collision Recall | 理论证明、完整协议、随机 key | 15–24；图 6–7 |
| F Zoology MQAR Benchmark | MQAR 配置 | 24–25；表 3 |
| G Distillation and Long-Context Retrieval | 蒸馏损失、完整检索与困惑度 | 25–27；图 8、表 4–5 |

## 一：动机

线性注意力和 Delta-rule 都用固定大小的状态替代随上下文增长的 KV 缓存，但固定大小并不意味着写入互不干扰。若两个 key 方向相近，沿其中一个 key 的更新会改变另一个 key 的读取值。只让更新幅度变小，会同时牺牲新信息的学习速度；作者要增加的是**方向选择能力**。

这里的“Bayesian”有严格而有限的含义：给定输入序列，由输入产生转移、伪观测和噪声参数，对辅助记忆模型做精确滤波。它不是输入文本的生成模型，没有为输入 $x_{1:T}$ 定义似然，也不是对整个神经网络参数做贝叶斯后验推断。外层网络仍可用任务交叉熵或蒸馏目标训练。（§2，p.2–4）

![设计模型框架](figures/figure_0_compact.png)

原图 1，p.2。左侧从输入到辅助模型、记忆信念和输出；右侧区分完整协方差、协方差重置及另一种 latent-input 模型。后两者不是同一种近似。

## 二：方法

### 2.1 状态与符号

| 符号 | 维度 / 含义 |
|---|---|
| $S_t,M_t$ | $D\times m$；随机记忆及其后验均值 |
| $P_t,\bar P_t$ | $D\times D$；更新后 / 预测协方差 |
| $k_t,q_t$ | $D$；写地址和读查询 |
| $v_t,y_t$ | $m$；伪观测值和层输出 |
| $A_t$ | $D\times D$；输入控制的记忆转移 |
| $\ell_t^2,r_t^2$ | 过程噪声 / 观测噪声方差，非负 |
| $u_t,\beta_t$ | $D$ 维有效写方向 / 标量创新精度 |

高斯信念的完整向量化协方差是 $I_m\otimes P_t$，表示各 value 列条件独立、共享 key 空间协方差。$P_t$ 不保存 value 本身；$q^\top P_tq$ 是该查询方向每个 value 坐标的后验方差。（§2.1，p.3）

### 2.2 从概率假设得到更新

设计模型用输入 $x_t$ 产生 $A_t,k_t,v_t,\ell_t,r_t$：

$$
S_t\mid S_{t-1}\sim\mathcal N(A_tS_{t-1},\ell_t^2I),\qquad
v_t\mid S_t\sim\mathcal N(S_t^\top k_t,r_t^2I).
$$

第一式的矩阵高斯记号按 $I_m\otimes\ell_t^2I_D$ 理解。$v_t$ 是模型内部的伪观测，$x_t$ 是控制变量。映射可由神经网络学习；给定这些映射的输出后，对 $S_t$ 的模型仍线性高斯。

从 $M_0=0,P_0=p_0I$ 开始，递推为：

$$
\bar M_t=A_tM_{t-1},\qquad
\bar P_t=A_tP_{t-1}A_t^\top+\ell_t^2I,
$$
$$
u_t=\bar P_tk_t,\qquad
\beta_t=(r_t^2+k_t^\top u_t)^{-1},\qquad
K_t=\beta_tu_t,
$$
$$
M_t=\bar M_t+K_t(v_t-\bar M_t^\top k_t)^\top,
\qquad P_t=\bar P_t-\beta_tu_tu_t^\top.
$$

误差 $v_t-\bar M_t^\top k_t$ 是当前内容与期望写入值之间的差；$K_t$ 决定如何把这个误差分配到地址空间。展开均值式可得到原文的门 $F_t=I-\beta_tu_tk_t^\top$。（§2.2，p.4，式 (9)–(13)；附录 B，p.13–14）

读取用 $Z_t\mid S_t,x_t\sim\mathcal N(S_t^\top q_t,I)$，层输出取预测均值：

$$y_t=\mathbb E[Z_t]=M_t^\top q_t.$$

查询不参与写更新。由全方差公式可得预测协方差 $(1+q_t^\top P_tq_t)I_m$，但本文实现没有将它传给下游损失或用于校准；这只是从原模型直接推得的解释，不是实验验证的校准能力。

### 2.3 为什么协方差能保护相邻记忆？

![协方差写入几何](figures/figure_2_geometry.png)

原图 2，p.5。椭圆表示不确定性几何，箭头区分原始 key 和协方差变换后的写方向。反复写入 B 后，沿 B 的不确定性缩小；A 与 B 重叠时，其共享分量被压低，未确定的正交分量获得相对更大更新。

将 $k_A=\rho k_B+\sqrt{1-\rho^2}k_\perp$ 分解，则在近似以 B 为主轴的协方差下：

$$u_A\approx\rho\bar\sigma_B^2k_B+\sqrt{1-\rho^2}\bar\sigma_\perp^2k_\perp.$$

若 $\bar\sigma_B^2\ll\bar\sigma_\perp^2$，写入就转向残余方向。这不等同于把整个写入乘一个小标量。**教学例子：**取 $k_B=(1,0)$、$k_A=(0.8,0.6)$、$\bar P=\operatorname{diag}(0.01,1)$，则 $u_A=(0.008,0.6)$；对 B 的干扰分量明显减小，而新方向仍可写入。该例为教学构造，非原实验数据。

### 2.4 闭合证明和重复写入的理论预测

**Kronecker 闭合。** 转移为 $I_m\otimes A_t$，观测矩阵为 $I_m\otimes k_t^\top$，观测噪声为 $r_t^2I_m$。创新协方差成为标量乘 $I_m$；Kalman 更新因此仍可因子化为 $I_m\otimes P_t$。无须保存 $(Dm)\times(Dm)$ 的完整矩阵。（附录 C，p.14）

**固定点。** 假设 $A_t=I$、单位 key、固定 $r^2,\ell^2>0$、持续重复写 A。令 $x_t=k_A^\top\bar P_tk_A$，则

$$x_{t+1}=\frac{r^2x_t}{r^2+x_t}+\ell^2,\qquad
x_\infty=\frac{\ell^2+\sqrt{\ell^4+4r^2\ell^2}}2.$$

有效标量增益 $g_t=\beta_tk_A^\top u_t=x_t/(r^2+x_t)$ 收敛到正数，而非必然趋零；均值仍收敛，因为创新残差趋零。取 $r^2=\ell^2=0.05$，$g_\infty\approx0.618034$。（附录 E.1–E.2，p.16–17，式 (35)、(42)）

**跨方向变化。** 沿 B 的后验方差每步变化为

$$\Delta_B=\ell^2-\frac{(k_B^\top\bar P_tk_A)^2}{r^2+k_A^\top\bar P_tk_A}
\longrightarrow(1-\rho^2)\ell^2.$$

证明关键是 A 与正交子空间的交叉协方差逐步收缩，A 方向达到固定点，正交方向仍积累过程噪声。$\rho=0.92$ 时，极限斜率为 $0.00768$/步。**方差增长不等于均值记忆立即消失**；这一点是理解图 3b 的关键。结论不应直接推广到任意学习到的 $A_t$、时变噪声或多个交替地址。（p.15–17）

### 2.5 两类已有架构如何出现？

| 类别 | 改动 / 设计模型 | 均值递推与意义 |
|---|---|---|
| Bayesian Layer | 传播 $P_t$ | 沿 $\bar P_tk_t$ 纠错 |
| Delta-rule | 每步强制 $\bar P_t=\lambda_t I$ | 沿原始 $k_t$ 纠错，失去历史方向信息 |
| Additive | 观测瞬时写系数 $\phi_t$ | 直接累加后验平均写入，无旧记忆残差 |

重置时 $\eta_t=\lambda_t/(r_t^2+\lambda_t\|k_t\|^2)$，

$$M_t=A_tM_{t-1}+\eta_tk_t(v_t-(A_tM_{t-1})^\top k_t)^\top.$$

$A_t=I,\alpha_tI,\operatorname{diag}(\alpha_t)$ 分别对应 DeltaNet、Gated DeltaNet、KDA 的核心递推；Longhorn 对应逐列重置。这是核心更新式的关系，不是说完整网络的卷积、输出门等组件都等价。（表 1，p.6）

加性族改用 $\phi_t\sim\mathcal N(0,\lambda_tI)$、$v_t\mid\phi_t\sim\mathcal N(\phi_t,r_t^2I)$、$S_t=A_tS_{t-1}+k_t\phi_t^\top$。于是

$$M_t=A_tM_{t-1}+\omega_tk_tv_t^\top,\qquad \omega_t=\lambda_t/(\lambda_t+r_t^2).$$

选择转移得到 Linear Attention、RetNet、对角 GLA、Mamba-2/SSD 的核心形式。**它是另一模型下的精确均值递推，不能说所有这些方法都是主设计模型的近似 Kalman 滤波。** Mamba-1 和部分 RWKV 动态不在该表分析范围。（§3，p.5–6；附录 A，p.12–13）

### 2.6 实现与训练/推理区别

基础情形采用对角 $A_t$，递归状态和每步计算为 $O(Dm+D^2)$。一般稠密转移不能沿用这个计算量。分组观测噪声为 value 列分配 $G$ 份协方差，状态 $O(Dm+GD^2)$；除协方差计算，还需均值更新及读出的 $O(Dm)$ 工作。

协方差通路不依赖当前均值及 value（给定输入产生的参数后），可先算增益，再用仿射均值递推做 chunk 内计算。附录 D 描述 Triton covariance pass、自定义 backward、fp32 状态运算及 WY 分块均值计算；chunk 边界仍顺序推进，不能据此宣称整个滤波已获得无限并行。

实际实现还描述阻尼 $2\times2$ 旋转、实虚交错状态、只向实部注入过程噪声，以及分组 $r_g$。这些是基础实对角模型的工程扩展，不应与碰撞实验的 $A=I,G=1$ 混用。训练通过序列损失反传学习映射，推理则维护固定大小的均值/协方差状态；文中未给充分的吞吐和时延基准来证明部署更快。（附录 D，p.14–15）

## 三：实验：各自检验什么？

| 设置 | 检验问题 | 协议 / 对照 | 指标 |
|---|---|---|---|
| 确定性碰撞 | 方向变化是否足以保护 B？ | $D=16,m=6$；种子 12 步、B 增强 40 步、A 灌入 60 步；$P_0=3I$，$r^2=\ell^2=.05$，$\rho=.92$；reset、DeltaNet-style、GLA-style、加性与对角消融 | A/B 二元 softmax 中 B 概率，越高越好；方差、增益用于核对理论 |
| 学习碰撞 | 学到的模型能否外推？ | 8 对地址，固定地址直接送入各层；2 层、宽 64、4 个 16 维 head；训练 $n_f\le8,\rho\in[.60,.80]$ | accuracy / margin；v1 的定义差异见后文 |
| 随机 key | 超出人工成对几何是否仍有效？ | 64 维随机 key 经固定正交行投影到 16 维；训练 $n/D\le4$，测试 6、8、12、16；每序列 8 个 query | 图 7 query CE，越低越好 |
| MQAR | 从离散词元学习绑定和更新 | 共享词表；原始、Update、Block 三任务；与 Attention、GDN、Mamba-2 等比较 | query accuracy，越高越好 |
| 340M 替层蒸馏 | 预训练模型是否获得检索收益？ | 替换索引 5、11、17、23 的四层；原模型及继续训练模型对照 | 六任务 NIAH 平均分↑；语言困惑度↓ |

学习碰撞：AdamW，学习率 $3\times10^{-4}$，batch 256，2,500 步，3 随机种子、误差条 ±1 标准差；只在 query 位置算交叉熵。value 标签每序列重新排列，防止记住固定答案；固定 key/query 路径防止网络把人为碰撞几何重新映射掉。Bayesian 版本学习输入相关 $\ell_t^2$，$r^2=.05,P_0=3I$ 固定；reset 使用固定 $.05I$。因此学习实验并非所有噪声参数化都完全相同，确定性消融对协方差机制的隔离更直接。（附录 E.5，p.21–24）

MQAR：附录报告 2 层、默认宽 128、head 维 32、递归状态规模 8,192/层，词表 8,192，每配置 100,000 数据点，AdamW、weight decay .1、1,024 warmup 后 cosine。图 4a 另做宽度扫描，不能把“默认宽128”误当成其全部横轴。Update 训练长度 64/128、关联数 4/16；Block 固定 block 大小2，长度128，关联数2/4/6/8。含 GDN 和 Mamba-2 卷积开关对照。附录 F 的角色符号表述不够一致；这里采用正文“key/value 共享词表”的任务描述，不补造生成器细节。（p.8、24–25）

蒸馏：训练长度2,048，SlimPajama；Phase A 每替换层约100M token，NMSE 加 .05 倍余弦距离；Phase B 约300M token，KL(teacher‖student) 加方差归一化边界 MSE。KL/MSE 权重先 .8/.2 后 .9/.1。作者以400M token描述两阶段，但 Phase A 同时训练四层，不能把这个数直接视为完整训练 FLOPs。GDN-FT 使用相同400M token、训练参数掩码和学习率计划，目标却是 next-token CE。蒸馏只有一个训练种子。（附录 G，p.25–27）

## 四：结果与证据

### 4.1 确定性碰撞：平台而不是永久完美记忆

![碰撞实验](figures/experiment_1_2_compact.png)

原图 3，p.7。a 横轴为写入步，纵轴为二元检索概率；b 为方向方差；c 实际纵轴标为 accuracy，横轴为灌入长度；d 为 margin 随重叠变化。a/b 隔离动力学，c/d 测学习后的外推。

附录 E.3 用各模型**实际增强后的状态**求极限；reset 的 $b_\infty=b_0-\rho(a_0-v_A)$，其中 $a,b$ 分别表示在 A、B 查询的向量输出。Bayesian 版本用随时间变化的跨方向增益求收敛级数。（p.18–19）

| 量 | Bayesian Layer | DeltaNet-style / reset |
|---|---:|---:|
| 无限 B 增强后的二元 B 概率 | $\operatorname{sigmoid}(1)\approx.73106$ | 同左 |
| 本文实际前置状态对应的 A 灌入极限 | .72309 | .35138 |
| 由以上概率换算的二元 margin（本次计算） | +.44618 | −.29724 |

.731 不是73.1%的分类准确率上限，而是 one-hot 目标使两个 logit 差为1时的 softmax 值。完整 BL 也有少量下降，不能称为“完全不受覆盖”。Linear Attention 因 A 的 logit 累加而使 B 概率趋零。对角消融在特定坐标系和范围内可能表现接近完整 BL；应结合更广泛碰撞几何理解非对角项的作用，而非声称它在每个图中都失败。

### 4.2 学习外推和随机拥挤

正文图3将 flood 延伸到256，是训练上限8的32倍；重叠扫描到 .95，且固定 flood64。BL 在两条轴上保持优势，DeltaNet-style/reset 在高重叠处失去对目标的偏好；这支持方向历史在学习后仍有用。图3c 实际画 accuracy，不能拿它当概率 margin 数值抄录。图中没有给每个坐标的精确数据表，本笔记不反推高精度数字。

随机 key（图7，p.24）没有 boost/flood 或固定成对结构。横轴为实际16维 key 空间的占用比 $n/D$，纵轴为 query 交叉熵，BL 曲线最低，但也随负载恶化。它改善退化速度，**没有突破线性读出的精确插值容量**。正确维度写法为 $K^\top M=V$，$K\in\mathbb R^{D\times n},V\in\mathbb R^{n\times m}$；当 $n>D$，独立任意目标通常不能被精确线性插值。此论证针对向量精确重建，不直接证明 argmax 分类准确率也必然低于100%。（附录 E.5.4，p.23；原文该式转置有误）

### 4.3 MQAR：更新时保护其他关联

![MQAR结果](figures/figure_4_mqar.png)

原图4，p.8。a 横轴模型宽度；b 横轴更新次数；c 横轴关联数量。纵轴均为 accuracy，图例包含卷积与无卷积模型。

Base MQAR 上 BL 在大宽度接近满分，但并非独占最佳。Update-MQAR 的图注概括 BL 约88%、GDN/Mamba-2约60%，约28**个百分点**差距；这些是图注近似，不是全条件平均值。任务要求更新过的 key 返回最新 value，同时保留未更新的其他 key，所以“保护记忆”并不意味着拒绝合法覆盖。

Block-MQAR 测 key 与 value 不相邻时的绑定。无卷积 BL 和无卷积 GDN 都能跨越间隔，不能说这是 BL 独有能力。基准 MQAR 的部分 baseline 结果引用既有工作，严格同协议重跑与引用结果应分开理解。（§4.2，p.8）

### 4.4 340M 蒸馏：检索收益真实但不全面

表4（附录表A1），p.26；均值为六个 NIAH 子任务分数的简单平均，排除 CWE；分数单位为百分数，差值为百分点。

| 上下文 | GDN-zero | GDN-FT | BL | BL−zero | BL−FT |
|---|---:|---:|---:|---:|---:|
| 2,048 | 49.52 | 48.46 | 50.81 | +1.29 | +2.35 |
| 4,096 | 31.08 | 31.58 | 34.02 | +2.94 | +2.44 |
| 8,192 | 16.81 | 16.06 | 20.00 | +3.19 | +3.94 |
| 16,384 | 7.85 | 8.36 | 8.81 | +.96 | +.45 |

例如8k的+3.19是百分点；相对16.81约+19.0%，两种口径不同。16k虽有相对提升，但绝对分数8.81仍很低。单任务也有退化：2k的 `single_2` 从96.50降到89.00（−7.50点）；8k的 `single_1` 从71降到67。4k的 `single_2` 则从35.50升到51（+15.50点）。因此不能概括为每类任务、每个位置都更好。

![位置与任务差异](figures/fig5_tradeoff_position_task_composite.png)

原图5，p.9。左边热图横轴为证据位置十分位，纵轴为上下文长度，颜色表示 BL−GDN-zero 准确率差；右侧按任务拆分，灰边框表示样本数小于30。4k中部、8k末部有较明显收益，但附录注明240个任务/长度/位置格中208个样本少于30；不宜把单格峰值当稳定估计。图8（p.26）使用 GDN-FT 对照也见相似位置模式。

### 4.5 困惑度代价：以表中数值重算

表5（附录表A2），p.27；PPL越低越好。以下列出8k，百分比为本次按原表计算。

| 语料 | GDN-zero | GDN-FT | BL | BL相对zero变差 |
|---|---:|---:|---:|---:|
| WikiText-103 | 14.57 | 14.59 | 14.97 | +2.75% |
| SlimPajama-heldout | 12.15 | 12.16 | 12.43 | +2.30% |
| PG-19 validation | 19.29 | 19.35 | 19.81 | +2.70% |

原文将代价统一概括为2.5%–2.7%，但表格显示 SlimPajama 各长度约2.30%–2.38%，WikiText最高约2.75%。更准确的总括为**约2.3%–2.75%，依语料而异**，且随长度较平稳。三模型使用同一 tokenizer 和 chunk 边界，按每窗口 $L-1$ 个预测 token 平均 CE；窗口互不重叠。由此可说没有出现随长度突然反转的 PPL 差距，不能说没有语言建模代价。

## 五：结论、局限与 v1 核验记录

### 5.1 可以带走的结论

1. 辅助概率设计模型提供一种架构设计方式：先说明记忆和证据的关系，再推导更新规则。
2. 在本模型中，协方差历史把“纠错幅度”扩展成“纠错方向”；确定性递推和受控实验最直接支持这一点。
3. 与 Delta-rule 的关系是协方差重置，与加性族的关系则是更换设计模型。统一的是建模框架，不是单一生成假设。
4. 迁移到340M模型的收益主要是部分检索能力；泛化语言质量、更大模型规模、实际速度和可靠性仍待验证。

### 5.2 版本内部需要保留的疑点

这些核验是本次阅读分析，不是作者已修正的勘误。

| 位置 | 问题 | 本笔记处理 |
|---|---|---|
| p.17 式(42) vs p.20 E.4.4 | $g=x/(r^2+x)<1$，但表列 flood 开始 gain约2.0；p.17写约.91，图6的峰值又不完全一致 | 以精确公式为准，不引用2.0为合法标量增益 |
| p.18–19 E.3、p.20 E.4.3 vs E.4.2/E.4.4 | 概率 .72309/.35138 对应 margin约+.446/−.297，与重叠表+.45/−.30一致；其他表写+.20/−.44 | 保留E.3精确极限，标明其他表冲突 |
| p.8 式(20)、p.7图3 vs p.24指标段 | 正文定义A/B二元softmax；附录用全词表softmax；图3c轴为accuracy而正文统称margin | 分别指出，不换算成同一指标 |
| p.7图3 vs p.22配置 | 正文展示flood至256，附录列外推集合16/32/64 | 用正文范围解释图，不宣称附录完整列出256配置 |
| p.17 高过程噪声近似 | 文中给 $1-r^2/(2\ell^2)$；对式(42)展开应为 $1-r^2/\ell^2+O((r^2/\ell^2)^2)$ | 使用精确式；这一修正是本次代数推导 |
| p.23 Remark 1 | 定义 $V\in\mathbb R^{n\times m}$ 后写 $K^\top M=V^\top$，维度不符 | 按 $K^\top M=V$ 解释，并区分精确插值与分类 |
| p.6 latent-input说明 | 声称确定性转移所以没有记忆后验不确定性；但有噪声的 $\phi_t$ 仍导致 $S_t$ 随机 | 精确的是均值递推闭合、不需要协方差参与均值更新，不等于协方差为零 |
| p.27总结 vs表5 | PPL百分比和GDN-FT偏差上界与四舍五入后的表值不完全一致 | 数值结论按表重算 |

加性模型疑点可直接看一步：即使 $S_0$ 确定，$\operatorname{Var}(\phi_1\mid v_1)=\lambda_1r_1^2/(\lambda_1+r_1^2)>0$，所以非零 $k_1$ 产生非零记忆协方差。这不影响作者给出的加性**均值**公式，但限制了“无后验不确定性”的文字解释。

### 5.3 证据边界与后续问题

密集协方差需要额外状态和计算；参数容量相近不等于递归状态、FLOPs、吞吐完全相同。蒸馏对照帮助排除“仅额外训练token”这一解释，但不同训练目标、仅一个种子且缺少实际算力表，不能据此完全排除优化方案差异。位置细分样本很少，检索总体提升未附充分跨训练种子的统计证据。

附录 D 将收缩 $A_t$ 与分块变换有界联系起来，但非对称秩一门的乘积稳定性不能只靠 $\|A_t\|\le1$ 自动保证；本笔记不把该句当一般稳定性定理。文中有关复数状态的可观测性解释也依赖具体旋转和查询设计，超出固定实数碰撞证明的直接覆盖范围。

值得继续验证的是：在严格统一指标和噪声参数化下复现碰撞曲线；用多种子、同目标蒸馏对照量化检索/PPL权衡；报告端到端时延及显存；比较完整、对角、低秩协方差；探索把预测不确定性直接用于读取或下游校准。以上是后续研究建议，不是本文完成的结果。

## 汇报建议

配套英文 Beamer 主讲页按约25分钟组织：问题与框架3分钟、递推与几何8分钟、三类实验10分钟、局限与讨论4分钟；备份页用于固定点、实现和v1核验。最重要的讨论问题是：**额外记忆状态用于估计“哪里还能写”，能否在可接受成本下改善真实模型，而非只在受控地址几何中获益？**