HOLA：为线性注意力补充选择性精确记忆
论文：A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets。作者：Wanyun Cui，Shanghai University of Finance and Economics（上海财经大学）。版本：arXiv:2607.02303v1，提交于 2026-07-02；本次获取与研读日期：2026-09-22，修订 r1。
arXiv 页面 · 本地原文 PDF · 作者主 TeX · 英文汇报 PDF · 可编辑幻灯片
材料与范围：已读取主 TeX 及其实际引用的 Introduction、Related Work、Method、Experiments、Conclusion and Limitations、Appendix A 和两份绘图源码，并用同版本 12 页 PDF 核验公式编号、图表、页码和数值。源码获取状态为 available。本笔记覆盖全部实质章节与唯一附录；参考文献用于核对比较对象的出处，未独立复现或全面核验被引论文。下文 PDF 页码从 1 开始，本论文与印刷页码一致。所有补充推导、例子和判断均明确区分于作者实验。
论文总览
HOLA（Hippocampal Linear Attention）保留 Gated DeltaNet（GDN）的递归矩阵状态，同时在每层加入容量固定的精确键值（KV）缓存。状态处理可压缩的历史规律，缓存保存一部分值得直接检索的具体关联。两个设计缺一不可：按已经计算出的写入幅度 $\beta_t\lVert e_t\rVert$ 选择条目，用独立的 RMSNorm-$\gamma$ 路径读取缓存。 前者决定保留什么，后者避免读出成为近似均匀的平均。
最可信的主证据是作者自己的同骨干比较：340M 参数、15B SlimPajama 训练 token、训练长度 2048 时，Wikitext-103 困惑度由 GDN 的 27.32 降至 22.92（相对降低 16.1%）；RULER S-NIAH-1 在 32k 长度时由 0.14 升至 0.58。相同缓存预算的 recency 对照分别是 25.04 和 0.24，支持“选择保留哪些 KV”具有额外价值。来源：Table 1，PDF p.7；Fig.1b，PDF p.1；Sec.4.4–4.5，PDF pp.8–9。
“Exact”描述被保留 KV 没有经过递归状态的有损压缩，不表示所有历史都被保留，也不表示 softmax 一定返回正确答案。主规模实验为单随机种子，论文没有给出主结果置信区间；不能把困惑度和检索收益扩大为一般推理能力或普遍速度优势。
原 Fig.1，PDF p.1，直接裁自原文，未更改数据。左图纵轴为困惑度、越低越好，且从 20 起始，柱高差不能当作相对比例；右图横轴为 2k–32k 上下文长度、纵轴为 S-NIAH-1 recall。绿色为 HOLA，橙色为 recency，灰色为 GDN，蓝色为 Transformer++。右图体现相对长度鲁棒性，同时显示 HOLA 在 32k 仍降到 0.58。
结构地图
| 原文章节 | 在论证中的作用 | 已核验的 PDF 位置 |
|---|---|---|
| Abstract / Fig.1 | 摘要与主结果概览 | p.1 |
| 1 Introduction | 固定状态与精确记忆之间的矛盾、贡献 | pp.1–3 |
| 2 Related Work | 递归模型、混合缓存、半参数记忆的关系 | p.3 |
| 3 Method / Fig.2 | 双记忆总体结构 | p.4 |
| 3.1 Background: the delta rule and its lossiness | Delta rule 与容量限制 | p.4，Eq.(1) |
| 3.2 Semiparametric memory as test-time regression | 两个定义与统一读出形式 | pp.4–5，Eqs.(2)–(4) |
| 3.3 What to store: the write magnitude… | 写入分数、top-$w$ 与可见集合 | pp.5–6，Eqs.(5)–(6) |
| 3.4 How to read: retrieval, not soft averaging | 缓存归一化与状态稳定性 | p.6，Eq.(7) |
| 3.5 Instantiation | GDN 实例及参数、显存成本 | p.6 |
| 4.1 Setup | 主规模训练与评测设置 | p.7 |
| 4.2 Main results: language modeling, commonsense, retrieval | 主结果与解释 | pp.7–8，Table 1 在 p.7 |
| 4.3 Consistency across scale | 46M / 170M / 340M | p.8，Table 2 |
| 4.4 Long-Context Retrieval | RULER 长度外推 | p.8，Table 3 在 p.9 |
| 4.5 Ablations | recency、淘汰分数、读取归一化 | pp.8–9；Tables 4–5 在 pp.9–10 |
| 5 Conclusion and Limitations | 结论和容量、规模限制 | p.10 |
| References / A Scale configurations | 引用与跨规模配方 | pp.10–12 / p.12，Table 6 |
一：动机
1. 固定大小状态为什么会丢掉具体事实
线性注意力把整个前缀压入一个大小不随长度增长的矩阵 $S$。这样的状态可以表达重复规律，但遇到许多需要分别保留的键值关联时，不同写入会沿重叠的 key 方向相互干扰。远处数字、名称、标识符等需要逐字恢复的内容，恰好难以容忍这种压缩。作者把状态比作新皮层，把快速记录具体事件的缓存比作海马体；这是设计启发，并非生物机制验证。来源：Secs.1、3.1，PDF pp.1–4。
原文以状态秩不超过 $d_k$ 解释容量有限。更精确地说，$\operatorname{rank}(S)\leq\min(d_k,d_v)$；能否记住多少条关联也依赖 key 相关性、value 结构与容许误差，不能把 $d_k$ 简化成任意任务的严格“事实数上限”。这是本次分析对直觉的限定。
2. 为什么仅加入近期窗口还不够
滑动窗口按位置保留信息，远处但重要的事实会被新 token 挤走。HOLA 的选择信号与距离无关：一个旧事实只要写入分数足够高，就可能长时间留在缓存中。它也不同于外部检索增强：缓存来自当前序列中的隐藏 KV 表示，并非跨文档知识库。来源：Sec.2，PDF p.3；Sec.3.3，PDF pp.5–6。
作者认为最接近的是 LTE：同样给 GDN 添加可淘汰 KV 缓存，但 LTE 使用额外 CNN 学习淘汰分数，并交替安排 GDN 与稀疏注意力层；HOLA 在每个递归层内部添加缓存，直接复用 delta rule 的写入信号。这里的区别按本文 Related Work 转述；本文没有提供与 LTE 的同缓存预算实验，不能据此断言 HOLA 优于学习式淘汰。
二：方法
1. 数据流与符号
原 Fig.2，PDF p.4，直接裁切。所有 token 更新上方状态；写入分数最高的部分 KV 还被保存在下方缓存；两个读出相加。图中的脑区名称是类比，图本身没有描述详细的分块执行顺序。
| 符号 | 意义与维度/范围 |
|---|---|
| $q_t,k_t$ | 当前 query/key，维度 $d_k$；状态路径上单位 L2 范数 |
| $v_t,e_t$ | value 与预测残差，维度 $d_v$ |
| $S_t$ | 递归关联矩阵，$d_k\times d_v$ |
| $\beta_t$ | 残差写入强度，$[0,1]$ |
| $\alpha_t$ | GDN 衰减门，$(0,1]$ |
| $m_t$ | 插入时的写入分数，$\beta_t\lVert e_t\rVert_2$ |
| $\mathcal D_t$ | 截至位置 $t$ 的所有因果可用 KV |
| $\mathcal A_t$ | 容量 $w=64$ 的持久精确缓存 |
| $\mathcal V_t$ | 缓存读可见集合：持久缓存、当前块因果 token 与 null sink |
| $C$ | 处理块大小，默认 256；可见条目上界 $w+C+1=321$ |
| $\tilde q,\tilde k,\gamma$ | 缓存路径归一化的 Q/K 及其可学习尺度 |
| $\lambda_t$ | 框架中的缓存读混合系数；实现另报告每头 cache gate |
下面保留原文符号，但把向量统一为列向量：因此原文的 $k_t^\top S$、$q_t^\top S$ 是相应 value/readout 的行向量转置。这只修正记号方向，计算内容相同。
2. Delta rule：预测，然后写入残差
原 Eq.(1)（Sec.3.1，PDF p.4）在统一列向量约定下为：
先用旧状态预测当前 key 对应的 value，再只写未被预测到的部分。若已经准确预测，$e_t$ 接近零，重复写入就很小。
实际实验均使用带衰减的 GDN。Sec.3.5（PDF p.6）给出 $e_t=v_t-\alpha_t S_{t-1}^{\top}k_t$；把衰减与残差写入合并，可得以下教学展开：
注意：在 GDN 中，$\beta_t\lVert e_t\rVert$ 是残差修正项的大小，并非总变化 $\lVert S_t-S_{t-1}\rVert_F$；总变化还含 $(\alpha_t-1)S_{t-1}$。原文先用不衰减的 DeltaNet 推导该分数，再说明 GDN 继续使用同一残差写入量。
3. 半参数测试时记忆：统一的读出视角
Sec.3.2（PDF pp.4–5，Definitions 1–2）把当前上下文的 KV 当作观测数据，把记忆读出当作从 query 到 value 的回归。这里“参数化”的参数是会随上下文更新的状态 $S_t$，不等于新增离线模型权重。
原 Eq.(3) 以列向量约定可写作：
第一项为压缩状态预测，第二项从保留的精确 KV 计算非参数读出。GDN 只有第一项；全注意力关闭状态项并使用全部前缀 KV；HOLA 同时使用状态和有界子集。原 Eq.(4) 将 softmax 注意力写作 Nadaraya–Watson 核回归。
这个框架是组织设计的定义与解释，并未证明 $\beta\lVert e\rVert$ 最优，也没有给出统计一致性或全局召回误差界。缓存存储的是 $(k,v)$，不是 $(k,e)$；将第二项叫作“修正”不意味着它被监督拟合为状态预测误差。
4. 写什么：残差大小乘以写入强度
对残差更新 $\Delta_t=\beta_t k_t e_t^{\top}$，秩一外积的 Frobenius 范数分解为：
来源：Eqs.(5)–(6)，Sec.3.3，PDF p.5；最后一步使用 $\lVert k_t\rVert_2=1$ 和 $\beta_t\geq0$。残差大表示状态预测不好；$\beta_t$ 大表示模型愿意提交这次修正。这个分数无需另外训练淘汰网络，但缓存的其他组件仍含可学习参数。
教学例子（非实验）：条目 A 的残差范数为 10、$\beta=0.1$，得分 1；条目 B 的残差范数为 2、$\beta=0.8$，得分 1.6。只看残差会偏好 A，HOLA 会偏好 B。分数刻画已提交的更新，不能直接等同于未来任务的重要性。
持久缓存保留历史得分最高的 $w$ 个条目。分数在写入时固定，不根据后来的遗忘、查询或距离重新估计。对固定的已计算分数，top-$w$ 可以逐条或分块合并；这不表示打乱输入 token 后状态与分数不变。旧的高分离群条目可能长期占用空间、早期低分但后来重要的内容可能丢失，这是该规则的自然边界，本文未系统测试。
5. 因果可见集合与训练/推理
实际读取不只看 64 个持久条目，还包括当前块中截至当前位置的 token，以及一个 null sink，最大可见量为 321。$w$ 表示跨块保留预算，$C$ 表示当前块处理长度；321 不是“能任意保留 321 个遥远事实”。来源：Sec.3.3，PDF p.6；Sec.5，PDF p.10；Appendix A，PDF p.12。
作者强调训练与推理使用同样的固定分数 top-$w$ 语义。由此可写出以下概念流程，而非作者代码复现：
- 从当前 token 计算 Q/K/V、衰减门和写入门。
- 以衰减后的状态预测 value，得到残差并更新状态。
- 计算并固定 $m_t$，维护至多 $w$ 个高分历史 KV。
- 用缓存路径的 Q/K，对持久缓存与当前块因果前缀及 sink 做 softmax 读取。
- 将状态读出与经过 gate 调节的缓存读出组合。
完整实现仍需决定块边界缓存更新时间、当前块与持久条目的去重、并列分数处理、多头分数组织，以及 top-$w$ 操作的训练梯度路径；论文和此次 TeX 源包未给出可核验的算法代码。当前块内也必须使用因果屏蔽，不能先用未来分数选整块 top-$w$ 再让早期 query 看到未来。
6. 怎么读：分离归一化，避免近似均匀平均
若状态路径和缓存路径都使用单位 L2 范数 Q/K，点积为 $\cos\theta$；再除 $\sqrt d$ 后，softmax logit 容易很小。缓存即使保留了正确 KV，也可能把很多 value 平均掉。HOLA 只在缓存读路径使用：
来源：Eq.(7)，Sec.3.4，PDF p.6。Q 和 K 有各自的可学习尺度，温度固定为 $\tau=1$。在忽略 epsilon、尺度接近 1 的直觉下，RMSNorm 后范数约为 $\sqrt d$，点积除 $\sqrt d$ 后约为 $\sqrt d\cos\theta$，更容易集中到匹配 key。学习到的逐维尺度可以改变这一近似；它不是恒等式，也不保证正确匹配一定成为最大值。
教学计算（非实验）：64 个条目中，一个 logit 为 0.83，其余为 0，则正确条目权重为 $e^{0.83}/(e^{0.83}+63)\approx3.51\%$。这解释了原文约 3.5% 的例子所需的背景假设；只给出 logit 范围本身并不能确定这个概率。
为何不把同样的放大用于状态更新？沿 key 方向，$I-\beta kk^{\top}$ 的特征值是 $1-\beta\lVert k\rVert^2$。单位 key 下它在 $[0,1]$；若 key 范数变成 $\sqrt d$，则变为 $1-\beta d$，可能失稳。例如 $d=256,\beta=0.5$ 时为 $-127$。这是条件性的线性算子分析，不应把所有 $\beta$、所有衰减条件都说成必然发散。
7. 参数、状态与运行成本
Sec.3.5（PDF p.6）报告，340M 配置额外可训练参数为：
来自 Q/K RMSNorm scale、每头 sink 和 cache gate，少于模型总参数的 0.004%；另有 96 个冻结的 temperature 标量。缓存 KV 属于运行时状态，不属于这些参数。
bf16、单序列解码的 KV 开销按文中配置为：
约 31.46 MB，或 30 MiB，不含少量分数。32k 与 128k 的实测峰值 GPU allocation（含权重，batch size=1）均为 HOLA 0.75 GB、GDN 0.72 GB。根据显示值计算约增加 4.2%，原文概称约 5%。128k 仅是显存测量，不是 128k 召回质量验证。
本次复杂度解释：固定 $w,C,d_k,d_v$ 时，单层单头运行时记忆约为 $O(d_kd_v+(w+C)(d_k+d_v))$，对序列长度 $T$ 有界；每个 query 的缓存读约为 $O((w+C)d)$，总量随 $T$ 线性增加。仍有 softmax、筛选和访存成本。论文未报告完整吞吐、延迟或训练速度表，因此不能把有界显存直接翻译成速度优势。
三：实验
1. 主规模设置与对照角色
| 项目 | 340M 主实验（Sec.4.1，PDF p.7） |
|---|---|
| 骨干 | GDN，24 层，$d_{model}=1024$，4 头，每头维度 256 |
| 其他架构 | expand_v=1、hidden_ratio=4、conv 4、tied embeddings |
| tokenizer / 词表 | Mistral tokenizer / 32000 |
| 数据与长度 | SlimPajama 15.0B token，context 2048，1 epoch |
| 优化 | AdamW，峰值学习率 $4\times10^{-4}$，weight decay 0.01，cosine，warmup 1000，gradient clip 1.0 |
| batch / 设备 | 约 0.5M token / $8\times$A800 |
| 缓存 | $w=64,C=256$；evict=betae，RMSNorm，$\tau=1$ frozen，gate init $-4$，SDPA kernel |
| 随机种子 | 主规模单种子；没有主结果方差或置信区间 |
自己的 GDN anchor 是检验整套 HOLA 的主要控制组；HOLA+recency 固定缓存容量、块大小、读取归一化、gate 和 kernel，仅改变淘汰分数，是检验选择机制最直接的控制组。其质量评测使用 full recomputation 避免实现路径混淆，不能据此比较增量解码速度（Sec.4.5 脚注，PDF p.9）。
Transformer++、GLA、GSA 行引用自 NHA 论文；DeltaNet、KDA 和另一行 GDN 引用自 Preconditioned DeltaNet 论文。作者称配方匹配，但这些不是在本文统一重训得到的全部基线。表中自己的 GDN 为 27.32，借用的 GDN 为 27.08，计算主相对改善必须选前者。
2. 指标与统计口径
| 评测 | 衡量什么 | 方向与限制 |
|---|---|---|
| Wikitext-103 / LAMBADA PPL | token 预测困惑度 | 越低越好；不等于准确率 |
| Commonsense 六任务均值 | ARCe、ARCc、HellaSwag、PIQA、WinoGrande、LAMBADA-acc | 越高越好；ARCc/Hella 为 acc_norm，其他为 accuracy，表中为百分数刻度的混合指标均值 |
| 九任务 accuracy mean | 正文另述的九任务平均 | HOLA 0.446 / GDN 0.440；不能混同六任务 42.85 / 42.54 |
| FDA / SWDE / SQuAD | 上下文中的信息抽取/问答 | 越高越好；本文未完整给出每项 scorer、聚合与答案归一化规则，保留原报告分数，不擅称全为 exact match 或 F1 |
| RULER | 合成单针、多 key、多 value、多 query 检索 | accuracy / recall，0–1；Mistral tokenizer，limit 100，2k–32k |
| 46M passkey | 查询后 teacher-force 答案 token 的 next-token accuracy | “Far”指 4k 上下文、插入深度 0.1；不同于自由生成的 RULER 召回 |
| 46M multi-key capacity | 在指定事实数量下的关联召回表现 | 越高越好；1/2/4/8/16 是事实数，不是准确率单位或严格容量上界 |
设置部分提到 variable tracking（VT），但本文结果表没有报告 VT 数值。不能把展示的 needle 子任务扩展成完整 RULER 所有任务的结论。
四：结果
1. 主结果：语言建模改善，常识平均分接近
Table 1，PDF p.7。为控制表宽，常识保留原六任务平均，所有行均保留。
| 模型 | Wiki PPL ↓ | LAMBADA PPL ↓ | 常识均值 ↑ | FDA ↑ | SWDE ↑ |
|---|---|---|---|---|---|
| Transformer++（引用，全注意力） | 26.88 | 42.15 | 42.34 | 46.1 | 25.9 |
| DeltaNet（引用） | 29.04 | 45.76 | 41.20 | 8.5 | 27.1 |
| GLA（引用） | 28.78 | 39.00 | 41.54 | 11.3 | 16.8 |
| GSA（引用） | 28.17 | 42.57 | 41.80 | 6.4 | 16.9 |
| KDA（引用） | 26.18 | 31.37 | 42.75 | 13.9 | 34.1 |
| GDN（引用） | 27.08 | 31.39 | 42.73 | 13.6 | 29.4 |
| GDN（本文 anchor） | 27.32 | 30.95 | 42.54 | 11.7 | 29.0 |
| HOLA+recency（本文） | 25.04 | 32.33 | 43.17 | 16.9 | 29.9 |
| HOLA（本文） | 22.92 | 30.26 | 42.85 | 20.1 | 35.9 |
相对自己的 GDN：Wiki 绝对降低 4.40、相对降低 16.11%；LAMBADA PPL 绝对降低 0.69、相对降低 2.23%。FDA 增加 8.4 个报告分数单位、相对提高 71.8%；SWDE 增加 6.9、相对提高 23.8%。正文另报 SQuAD 32.5→33.8（Sec.4.2，PDF p.8），未列入主表。
这里“最好”有明确边界：HOLA 的 FDA 20.1 仍远低于全注意力 46.1，而 SWDE 35.9 则高于该全注意力行的 25.9；不能说所有抽取任务都仍落后全注意力。HOLA、GDN anchor、recency 的常识均值分别为 42.85、42.54、43.17，HOLA 并非最高。作者称差异处于单种子噪声范围，但没有重复实验误差条；稳妥结论是未建立可靠的常识优势。
2. 跨规模一致性：各规模内部受控，规模之间配方不同
Table 2，PDF p.8；Appendix A / Table 6，PDF p.12。
| 规模 | 数据 / 训练量 / context | GDN PPL | HOLA PPL | 相对降低（本次计算） |
|---|---|---|---|---|
| 46M | FineWeb-Edu / 0.5B / 4096 | 71.0 | 59.5 | 16.20% |
| 170M | SlimPajama / 6.22B / 2048 | 35.98 | 30.51 | 15.20% |
| 340M | SlimPajama / 15.0B / 2048 | 27.32 | 22.92 | 16.11% |
46M 为 12 层、宽度 512；170M 为 12 层、宽度 1024；340M 为 24 层、宽度 1024。证据支持在三个所测规模各自匹配的配置内都有收益；数据、训练量、长度同时变化，因此这不是仅改变参数量的 scaling law，也未验证十亿参数以上模型。
3. 长上下文：S-NIAH-1 收益大，但并非所有检索都稳健
Fig.1b，PDF p.1；Sec.4.4，PDF p.8。下表精确值来自作者 fig_teaser.tex 的作图坐标，并与 PDF 曲线和正文核对。
| 模型 | 2k | 4k | 8k | 16k | 32k |
|---|---|---|---|---|---|
| Transformer++ | 1.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| GDN | 1.00 | 1.00 | 0.83 | 0.30 | 0.14 |
| HOLA+recency | 1.00 | 0.93 | 0.74 | 0.50 | 0.24 |
| HOLA | 1.00 | 0.99 | 0.98 | 0.94 | 0.58 |
32k 时 HOLA 相比 GDN 增加 44 个百分点，相比 recency 增加 34 个百分点；16k 相比 GDN 增加 64 个百分点。32k 是训练长度 2k 的 16 倍，不是检索率提高 16 倍。
全注意力检查点在 4k 及以后所示任务归零，作者归因为该 RoPE 检查点未作长度外推适配。它说明这一个 2k 训练检查点的外推限制，不能证明 HOLA 优于专门训练或扩窗后的全注意力。表注同时给出 max position 8192；“未超配置最大位置”和“未超训练长度”是不同概念。
Table 3（PDF p.9）的多任务结果补足主曲线的边界。下表保留三个内部对照的全部 2k–8k 结果；S1/S2/S3 为三种 single-needle，MK1/MV/MQ 分别为 multi-key、multi-value、multi-query。
| 长度 / 模型 | S1 | S2 | S3 | MK1 | MV | MQ |
|---|---|---|---|---|---|---|
| 2k / GDN | 1.00 | 0.38 | 0.26 | 0.17 | 0.17 | 0.24 |
| 2k / recency | 1.00 | 0.83 | 0.89 | 0.26 | 0.21 | 0.22 |
| 2k / HOLA | 1.00 | 1.00 | 0.96 | 0.25 | 0.28 | 0.18 |
| 4k / GDN | 1.00 | 0.52 | 0.23 | 0.17 | 0.14 | 0.19 |
| 4k / recency | 0.93 | 0.27 | 0.38 | 0.13 | 0.17 | 0.17 |
| 4k / HOLA | 0.99 | 0.89 | 0.43 | 0.30 | 0.28 | 0.26 |
| 8k / GDN | 0.83 | 0.09 | 0.07 | 0.03 | 0.07 | 0.02 |
| 8k / recency | 0.74 | 0.04 | 0.02 | 0.05 | 0.03 | 0.01 |
| 8k / HOLA | 0.98 | 0.35 | 0.05 | 0.11 | 0.16 | 0.08 |
HOLA 在多数非地板格子更好，但 2k MQ 为 0.18，低于 GDN 0.24；8k S3 为 0.05，低于 GDN 0.07，且三者绝对表现均弱。8k 的 multi-needle 也仅为 0.08–0.16。不能把 S-NIAH-1 的强结果概括为所有复杂长上下文检索已解决。
4. 消融一：同预算 recency 对照直接检验选择规则
340M 时，recency→HOLA 的 Wiki PPL 为 25.04→22.92，绝对下降 2.12、相对下降 8.47%；32k S-NIAH-1 为 0.24→0.58。相同骨干与缓存读机制下，仅改变淘汰信号，支持基于写入幅度的选择优于纯近期选择。它也表明 GDN→HOLA 的全部增益不能都归因于这个分数：recency 本身已把 Wiki 从 27.32 改善到 25.04。来源：Sec.4.5，PDF pp.8–9；Table 1 / Fig.1。
5. 消融二：46M、flat read 下检验淘汰分数
Table 4，PDF p.9。所有带缓存行使用相同骨干与缓存预算、较平坦的 cache read；Far 为 teacher-forced passkey token accuracy，不能与 340M RULER 直接比较。
| 淘汰规则 | Far ↑ | 1 key ↑ | 2 keys ↑ | 4 keys ↑ | Wiki PPL ↓ |
|---|---|---|---|---|---|
| GDN，无缓存 | 0.55 | 0.78 | 0.45 | 0.41 | 70.21 |
| 累积 attention（H2O 式分数） | 0.43 | 0.97 | 0.69 | 0.55 | 71.45 |
| $\lVert e\rVert$ | 0.22 | 0.71 | 0.61 | 0.48 | 70.50 |
| $\beta\lVert v\rVert$ | 0.42 | 0.97 | 0.72 | 0.54 | 70.76 |
| $\beta\lVert e\rVert$ | 0.67 | 0.97 | 0.74 | 0.56 | 70.10 |
残差单独使用时 Far 只有 0.22；乘以写入门后为 0.67，符合“模型实际提交多少修正”比纯预测误差更有用的解释。但 flat read 下 PPL 70.21→70.10 仅小幅变化，不能用这张表证明分数本身带来了十多个 PPL 的收益。$\beta\lVert v\rVert$ 同时含 value 范数，并不是单独 $\beta$ 的消融。
6. 消融三：读取归一化是该诊断中最大的变化
Table 5，PDF p.10。固定 $\beta\lVert e\rVert$ 选择规则；RMSNorm 行为三种子均值，其他行复用 flat-read 锚点，未报告方差。
| 读取方式 | Wiki PPL ↓ | Far ↑ | passkey mean ↑ | 1 key ↑ | 4 keys ↑ | 8 keys ↑ | 16 keys ↑ |
|---|---|---|---|---|---|---|---|
| GDN，无缓存 | 70.21 | 0.55 | 0.60 | 0.78 | 0.41 | 0.35 | 0.31 |
| 单位 L2 cache read | 70.10 | 0.67 | 0.67 | 0.97 | 0.56 | 0.41 | 0.31 |
| RMSNorm-$\gamma$ | 59.5 | 0.75 | 0.69 | 0.97 | 0.77 | 0.67 | 0.41 |
PPL 70.10→59.5，下降 10.60；8-key 0.41→0.67，而 1-key 保持 0.97，说明读得更尖锐尤其帮助区分多条关联。不过 16-key 仅 0.41，能力仍有限。作者提到“相比固定高温度更好且避免状态偷懒”，但这里没有固定高温度对照行，也没有展示注意力熵或门值诊断，因此不能把该机制解释当作已直接验证的因果结论。
五：结论
1. 可以带走的贡献
HOLA 提供了一个具体、额外参数很少的双记忆方案：GDN 负责压缩，选择性 KV 负责保留部分细节。写入残差的范数给出可解释的缓存选择信号，独立的 Q/K 归一化则解决“留住了却读不出来”的问题。本文最有力的验证是同骨干 GDN、同预算 recency 和 HOLA 的比较，以及 46M 对读写组件的拆分。来源：Secs.3–5，PDF pp.4–10。
2. 限制及原文内部需要保留的细节
| 问题 | 原文位置与本次判断 |
|---|---|
| 精确存储不等于完美召回 | Sec.5，p.10；只有 64 个持久条目，32k S-NIAH-1 为 0.58，多 needle 更困难 |
| 主实验随机性未量化 | Sec.5，p.10；主规模单种子，46M RMSNorm 行虽为三种子均值，但无方差 |
| 对学习式淘汰缺少直接对照 | Sec.2 / Sec.5，pp.3、10；没有同预算 LTE CNN 对比 |
| 速度与训练成本未建立 | Sec.3.5 只给参数与单序列解码显存；未报告完整吞吐/延迟/训练成本 |
| 归一化数值例子的维度不统一 | Sec.3.4，p.6：$6.6/\sqrt d\approx0.83$ 对应 $d\approx64$，$\sqrt d\approx11$ 对应 $d\approx121$；主配置 $d=256$，其 $\sqrt d=16$。原文未交代这些例子分别属于哪种配置，不能用其数值代入主模型；符号层面的尺度解释仍成立 |
| 46M GDN 的两组锚点不同 | Table 2 的 71.0 与 Tables 4–5 的 70.21 不一致，未解释具体评估或种子差异；分别保留，不合并计算 |
| 全注意力并非 2k 每列都最好 | Sec.4.4 / Table 3，pp.8–9；作者称其为 2k ceiling，但 S3 的 Transformer++ 为 0.79、HOLA 为 0.96。应理解为参考检查点，不是逐项严格上界 |
| 小幅报告与算术差别 | Sec.4.2，p.8；BoolQ 显示 0.548→0.584，按显示精度为 +3.6 个百分点，文字写 +3.5，可能来自未舍入值但本文未解释；不据此放大结论 |
| 实现说明不完整 | Sec.3.2 的 $\lambda_t$ 与 Sec.3.5 的每头 gate 之间未给完整参数化；分块选择、梯度与并列规则也未详细报告 |
3. 后续最值得验证什么（本次分析）
首先做多种子、同预算、相同增量解码路径的 GDN / recency / HOLA / 学习式淘汰对照，并同时测质量、吞吐和峰值显存。其次改变 $w$、$C$ 和 needle 密度，检验全局固定分数是否会被早期离群 token 长期占据，以及是否需要重新评分或容量分配。最后再扩大到更大模型、长上下文训练和经过适配的全注意力对照，判断收益能否迁移。
本次研读的核心判断是：实验支持“有限精确缓存的选择与读取应共同设计”；它尚未证明固定写入幅度就是未来检索价值的最优估计。
文件与复用
英文幻灯片按约 20–30 分钟组会组织，主讲与备份页分开。可编辑源文件为 slides.en.tex，本地构建命令为 python3 build_slides.py slides.en.tex；需要系统提供 pdflatex。图件来自原论文 PDF 的准确裁切，坐标记录在 图件来源；幻灯片中的长度曲线按 fig_teaser.tex 数据重绘并注明来源。
本次为论文分析与材料核验，没有训练模型或复现实验。源码原包、文件哈希和下载身份分别保存在版本目录的 source/tex/manifest.json 与 source/metadata.json。