# Delta Attention Residuals：中文精读笔记

**作者：** Cheng Luo、Zefan Cai、Junjie Hu。  
**论文：** [arXiv:2605.18855v1](https://arxiv.org/abs/2605.18855v1)，2026-05-13 提交。  
**获取与研读日期：** 2026-10-04。  
**材料：** [原文 PDF](../source/paper.pdf) · [英文汇报幻灯片](slides.en.pdf) · [作者代码](https://github.com/wdlctc/delta-attention-residuals-code)。本文页码均指从 1 开始的 PDF 页码。

## 论文总览

这篇论文研究 Transformer 的**深度方向信息混合**：一个子层在处理当前残差流时，能否再有选择地读取早期子层的贡献？作者提出 Delta Attention Residuals，把注意力加权得到的历史增量读出加到当前残差流上，再送进下一个 attention 或 MLP 子层。细粒度版本 Delta AttnRes 保存各子层输出；Delta Block 用分块表示降低读出成本。

实验中，细粒度版本在 220M、533M、1044M 三个配置取得最低验证困惑度；Delta Block 接近它的质量，显著降低开销。在从零训练的 7.57B 配置中，Delta Block 将验证 PPL 从 17.43 降到 16.00，相对下降 **8.2%**，吞吐从 21.4k 降到 14.0k token/s。Qwen3-0.6B 继续训练后，八项下游任务平均分为 55.6%，标准微调为 55.0%。（Sec. 3，Tables 1–5，PDF pp. 5–8）

**理解贡献时有一个关键修正：原始 Attention Residuals 已经使用子层输出作路由源。** 本文把它概括为“全历史累计隐藏状态”，与原始论文的公式不一致。因此，较可靠的贡献表述是：在本组实验中，**保留残差流、额外加入深度注意力读出**的设计改善了质量；不能把“首次将累计状态改为子层增量”作为已成立的创新判断。零初始化与分块实现也有实质细节，下面在对应机制处说明。

## 结构地图

| 原文章节 | 作用 | PDF 页码与主要证据 |
| --- | --- | --- |
| 1 Introduction | 提出路由源冗余与增量路由动机 | pp. 1–2；Fig. 1 |
| 2.1 Preliminaries: Attention Residuals | 深度注意力的打分和加权 | p. 2；Eq. (1) |
| 2.2 The Source Redundancy Problem | 比较累计源和增量源 | pp. 2–3；Fig. 2 |
| 2.3 Delta Attention Residuals | 加性路由、残差流与伪代码 | pp. 3–4；Eq. (2)、Fig. 3 |
| 3.1 Experimental Setup | 模型、训练和对照 | pp. 4–5 |
| 3.2 From-Scratch Training Results | 三个自定义规模的质量和成本 | pp. 5–6；Table 1 |
| 3.3 Scaling From-Scratch Training | 标准 0.6B 架构及 7.57B 扩展 | pp. 6–7；Tables 2–3、Fig. 4 |
| 3.4 Ablation: Effect of Block Size | 分块数量的质量与成本取舍 | p. 7；Table 4 |
| 3.5 Fine-Tuning Pretrained Models into Delta Attention Residuals | 迁移预训练权重、下游任务和学习动态 | pp. 7–8；Table 5、Fig. 5 |
| 4.1 Routing Collapse: Why Cumulative States Fail | 最大路由权重随深度变化 | pp. 8–9 |
| 4.2 Why Additive Routing Preserves Information | 用残差保留解释实验差异 | p. 9 |
| 4.3 Learned Routing Patterns | 查看具体深度路由矩阵 | p. 9；Fig. 6 |
| 5 Conclusion | 汇总结果 | p. 10 |
| A Related Work | 跨层连接、残差分析、差分与路由背景 | p. 12 |
| B Comparison with Original Attention Residuals | 实现对照与 reset 操作 | pp. 12–13；Table 6、Fig. 7 |
| C Delta Block: Block-Level Variant | 分块增量与成本解释 | pp. 13–14；Eq. (3)、Fig. 8 |

## 一：动机——跨层注意力究竟在选择什么？

### 1. 标准残差把历史贡献压在同一条流中

以单个 token 为例，标准 Pre-Norm 子层可写成

$$
\mathbf h_{i+1}=\mathbf h_i+\mathbf v_i,
\qquad \mathbf v_i=f_i(\mathbf h_i),
$$

其中 $f_i$ 包含该子层的归一化和 attention/MLP 变换。展开后，$\mathbf h_l=\mathbf h_0+\sum_{i<l}\mathbf v_i$：每个已产生的贡献都以系数 1 留在残差流中，但下一子层没有直接指定“再读取某个早期贡献”的接口。

作者希望提供这样的接口。其直觉是：若候选源都是包含大量共同前缀的累计状态，RMSNorm 后的方向可能相近，深度注意力就难以区分它们。相比之下，不同子层的输出可能更有差异，便于选择。这是对表示几何的动机，不是由“它们是差分”自动推出的正交性或多样性定理。（Sec. 2.1–2.2，PDF pp. 2–3）

### 2. 必须区分本文的 baseline 描述与原始 AttnRes

原始 [Attention Residuals，2603.15031v1](https://arxiv.org/pdf/2603.15031v1) 的 Sec. 3.1、Eq. (3)（PDF p. 4）明确令 key/value 等于 embedding 或子层输出 $f_i(\mathbf h_i)$；其 Block 版本 Eq. (5) 保存的是**块内子层输出之和**。它们并非都形如 $\mathbf h_0+\sum_{j\le i}\mathbf v_j$ 的全历史前缀。本文附录 B 的伪代码也会先保存完成的块，再清空当前块累加器，因此 reset 不等于删除已保存历史。

这改变了动机的解释范围：本文的实验可以比较特定 Qwen 实现中的读出方式与训练行为，但不能仅凭“累计前缀冗余”解释原始 AttnRes 的全部行为。**加性读出与替代式读出、残差路径、源构造、初始化**都可能影响结果，后文实验没有把这些因素逐一分离。（本文 Sec. 3.1、Appendix B，PDF pp. 5、12–13；原始 AttnRes Sec. 3.1–3.2，PDF p. 4）

## 二：方法——保留残差流，再读一次历史增量

### 1. 符号与深度注意力

| 符号 | 含义 |
| --- | --- |
| $L$ | 本文中的 Transformer 层数，每层含 attention 和 MLP 两个子层 |
| $d$ | 隐藏维度 |
| $\tilde{\mathbf h}_l$ | 当前自然累加的残差流，单 token 形状为 $d$ |
| $\mathbf v_i$ | 第 $i$ 个子层的输出，也等于残差流在该子层的变化 |
| $\mathbf w_l\in\mathbb R^d$ | 接收子层的可学习查询向量 |
| $\alpha_{i\to l}$ | 接收子层 $l$ 对历史源 $i$ 的权重 |
| $K$、$S$ | 下文为避免原文混用而引入：块数、每块 Transformer 层数，约有 $KS=L$ |

给定源 $\mathbf s_i$，本文 Eq. (1) 的打分为

$$
e_{i\to l}=\mathbf w_l^\top\operatorname{RMSNorm}(\mathbf s_i),
\qquad
\alpha_{i\to l}=\frac{\exp(e_{i\to l})}{\sum_{j\in\mathcal S_l}\exp(e_{j\to l})}.
$$

这里 $\mathcal S_l$ 是当前已经可用的历史源集合。查询是每个接收子层自己的参数，**不由当前 token 通过一个 $W_Q$ 投影生成**；但源依赖输入，因此路由权重仍随 token 改变。源堆叠后为 $[N,\text{batch},T,d]$，softmax 沿 $N$ 个深度源进行，各序列位置分别计算。

RMSNorm 用于构造打分 key，加权求和仍使用未归一化的源作为 value。它减少源范数对打分的直接影响，但保留 value 的幅度信息。这里的深度读出没有替换模型原有的因果序列 attention。（Eq. (1)、Fig. 3，PDF pp. 2、4）

### 2. 加性路由改变子层输入，残差更新仍用原来的流

Delta AttnRes 的核心是 Eq. (2)：

$$
\mathbf r_l=\sum_{i\in\mathcal S_l}\alpha_{i\to l}\mathbf v_i,
\qquad
\hat{\mathbf h}_l=\tilde{\mathbf h}_l+\mathbf r_l.
$$

结合 Fig. 3，完整的数据流应理解为

$$
\mathbf v_l=f_l(\hat{\mathbf h}_l),
\qquad
\tilde{\mathbf h}_{l+1}=\tilde{\mathbf h}_l+\mathbf v_l.
$$

也就是说，历史读出先改变当前子层的工作输入；子层算出新贡献后，再加回原残差流。不要把更新误写为 $\tilde{\mathbf h}_{l+1}=\hat{\mathbf h}_l+\mathbf v_l$，那会把历史读出直接重复写入残差流，与图中伪代码不同。

attention 和 MLP 各有自己的查询与路由归一化。细粒度版本在 attention 结束后追加 attention 输出，在 MLP 结束后追加 MLP 输出，下一子层即可访问这些源。训练与推理使用同样的路由计算；训练额外学习查询、归一化参数及骨干参数。（Sec. 2.3，PDF pp. 3–4）

**教学解释：** 若已有 $\mathbf v_1=(2,0)$、$\mathbf v_2=(0,1)$，权重为 $(0.8,0.2)$，读出就是 $(1.6,0.2)$。模型保留原残差流，同时让下一个子层更强地感知第一个贡献。softmax 对向量做凸组合，不能任意设定负的选择系数，但向量自身可包含正负分量。

### 3. Delta Block 的预期数学含义

理想的分块定义是将连续子层贡献相加。为避免原文把 $B$ 同时当“块数”和“块宽”，令 $\tau_b$ 表示块边界的子层索引：

$$
\Delta_b=\tilde{\mathbf h}_{\tau_{b+1}}-\tilde{\mathbf h}_{\tau_b}
=\sum_{i=\tau_b}^{\tau_{b+1}-1}\mathbf v_i.
$$

然后以 $\Delta_b$ 为源计算加性读出。按原文设想，可另保留 embedding 和当前未完成块。细粒度源的规模为 $O(2L)$，块级源为 $O(K)$，其中 $K\approx L/S$。Table 4 把 $B$ 用作块数，给出 $B+1$ 个源；Appendix C 的 Eq. (3) 又把 $B$ 用作块宽。因此，解释实验时应以表中的实际 Sources 列为准。（Sec. 3.4、Appendix C，PDF pp. 7、13–14）

![Delta Block 的结构示意](figures/DeltaResi_block.png)

原图 Fig. 8，PDF p. 14。左侧展示块间替代式读出，右侧展示在保留残差流的基础上注入块级读出；从下往上读，横向分支是可再次访问的深度源。图是作者提出的架构示意。

分块减少可单独选择的贡献数量。**保留残差流不意味着块内每个子层仍可独立访问**：细粒度版本可以逐个选取，Delta Block 只能选取聚合后的块。因此原文“每个子层贡献都单独可访问”的论点应限于细粒度版本。

### 4. 分块公式与公开实现没有完全对齐

原文 Fig. 3 在添加源时计算 `hidden_states - deltas[-1]`。若 `deltas[-1]` 已经是一个增量，它就不是上一个块边界的隐藏状态，通常不能得到上式的块差分。一个标量教学例子是边界状态依次为 1、3、6：保存 embedding 1 后，第一个增量为 $3-1=2$；再减“最后一个增量”会得到 $6-2=4$，正确的相邻边界差分是 $6-3=3$。

作者公开代码固定到提交 `fc11c3e` 后，`delta_block` 分支也使用 `partial_block - blocks[-1]`；按 `block_start_partial` 计算真正边界差分的另一段逻辑被注释。该分支读出已保存源时也没有按 Appendix C 的文字显式加入当前 partial delta。这说明**论文中的理想块公式与已公开计算路径存在差异**，复现实验必须先明确采用哪一种定义。当前仓库不能独自证明论文各历史训练运行使用的精确代码状态。（Fig. 3、Eq. (3)，PDF pp. 4、13；[固定版本实现，L559–610](https://github.com/wdlctc/delta-attention-residuals-code/blob/fc11c3e570f44c4d566afac4d7a6eeb372e9aa5c/Attention-Residuals/modeling_qwen3_attnres.py#L559)、[被注释的边界累加，L1104](https://github.com/wdlctc/delta-attention-residuals-code/blob/fc11c3e570f44c4d566afac4d7a6eeb372e9aa5c/Attention-Residuals/modeling_qwen3_attnres.py#L1104)）

### 5. 零查询、零源与“恒等初始化”

原文 Sec. 2.3 声称：查询零初始化使权重均匀，因此路由退化为恒等映射。但直接代入公式，对 $N$ 个非空历史源有

$$
\mathbf w_l=0
\quad\Longrightarrow\quad
\hat{\mathbf h}_l=\tilde{\mathbf h}_l+\frac1N\sum_i\mathbf v_i.
$$

这个附加项一般不为零。再加入一个零向量 null source 后，它只变成 $\frac1{N+1}\sum_i\mathbf v_i$，也不会自动消失。null source 提供了一个“可以选择不读”的选项，但均匀 softmax 不会把全部权重放到它上面。“加权平均有界”也不保证其相对当前残差流足够小。（PDF p. 4 的 Safe initialization、p. 8 的 Initialization matters）

这里有一个值得保留的细节：**若源集合恰好完整分解当前残差流**，即包括 embedding 且 $\sum_i\mathbf v_i=\tilde{\mathbf h}_l$，均匀读出会令 $\hat{\mathbf h}_l=c\tilde{\mathbf h}_l$，$c>0$。忽略 $\epsilon$ 时 RMSNorm 对正比例缩放不变，后续子层因而可能保持同样输出。这是依赖源覆盖与归一化的条件性解释，不是 `depth_route` 本身恒等；上述分块实现差异也使这一条件不能直接套用。

**本次分析的可验证改法：** 在读出前乘一个初值为零的标量门 $g_l$，$\hat{\mathbf h}_l=\tilde{\mathbf h}_l+g_l\mathbf r_l$，即可在初始化时严格保留输入。它是一个机制建议，不是论文主实验已经验证的改动。作者仓库存在可选门控分支，但不能据此把它当成 Table 5 的实际设置。

### 6. 参数少，运行成本仍可能高

若每个 attention/MLP 的路由器包含一个长度 $d$ 的查询和一个长度 $d$ 的 RMSNorm 权重，两者合计约 $4Ld$ 参数。取 $L=36,d=4096$，得到 589,824，符合原文报告的 589.8K、约占 7.57B 的 0.008%。

额外成本主要来自跨深度源的保留、读取、归一化和加权。按每层最多 $N$ 个源粗略计，路由算术规模为 $O(LN\,\text{batch}\,T d)$，源缓冲规模为 $O(N\,\text{batch}\,T d)$；细粒度版本令 $N=O(L)$。这是理解额外开销的量级分析，不是总模型显存公式。论文报告的是训练吞吐与训练峰值显存，不能直接当作解码吞吐或 KV cache 节省。（Sec. 3.2–3.3，PDF pp. 6–7）

## 三：实验——比较什么、预算如何对齐？

### 1. 从零训练协议

全部使用 Qwen3 架构和 FineWeb-Edu，从随机初始化训练 10K 步；优化器 AdamW，$\beta=(0.9,0.95)$，weight decay 0.1，500 步 warmup 后 cosine 衰减。硬件为 8 张 H100 80GB，BF16 与 `torch.compile`。（Sec. 3.1，PDF pp. 4–5）

| 配置 | $d$ / $L$ | 有效 batch / 序列长度 | 学习率 | 10K 步名义 token 数 |
| --- | --- | --- | --- | --- |
| 220M | 768 / 12 | 32 / 1024 | $6\times10^{-4}$ | 0.328B |
| 533M | 1024 / 24 | 32 / 1024 | $6\times10^{-4}$ | 0.328B |
| 1044M | 1280 / 36 | 32 / 1024 | $6\times10^{-4}$ | 0.328B |
| Qwen3-0.6B 架构，文中计 508M | 1024 / 28 | 64 / 2048 | $6\times10^{-4}$ | 1.311B |
| Qwen3-8B 架构，7.57B | 4096 / 36 | 64 / 2048 | $3\times10^{-4}$ | 1.311B |

token 数是按“步数 × 有效 batch × 序列长度”推算的输入量，不是作者额外报告的数据量。7.57B 使用 FSDP 和梯度检查点。这里的“8B 实验”是从零训练一个 8B 规模架构，不是继续训练官方 Qwen3-8B 权重，也不是完成常规大模型预训练预算。

同规模各方法匹配数据、步数和超参数，**没有匹配墙钟时间或总计算成本**。不同规模的 token 预算与上下文不同，所以这些点不构成单一控制条件下的严格 scaling law。

### 2. 五类对照与指标

| 方法 | 在本论文实验中的角色 |
| --- | --- |
| Baseline | 普通加性残差 |
| AttnRes | 作者复现的块级替代式深度注意力 |
| Full AttnRes | 作者称为 $N=L$ 的更细粒度复现；其命名和原始 Full 的子层口径需区分 |
| Delta AttnRes | 保存 attention/MLP 输出，额外加性读出 |
| Delta Block | 更少的分块源，额外加性读出 |

验证 loss 和 PPL 越低越好，PPL 约等于 $\exp(\text{平均 token NLL})$。Tok/s 为所有 GPU 的总吞吐，越高越好；Mem 为单卡训练峰值已分配显存。Table 1 的显存条件是每卡 batch 4、长度 1024；Table 3 的 8B 条件包含梯度检查点，显存数字不宜脱离这些设置横向外推。

### 3. 预训练权重迁移协议

微调使用官方 Qwen3-0.6B 权重，在 FineWeb-Edu 继续训练 20K 步，有效 batch 32、4 张 H100、500 步 warmup。Delta Block 加 null source，骨干学习率 $5\times10^{-5}$，路由参数 $5\times10^{-3}$；Baseline FT 和 AttnRes 统一用 $5\times10^{-5}$。因此该结果比较的是**架构与相应优化配置的组合**；未单独消融 100 倍路由学习率与 null source。这里引用 LoRA 是说明分组学习率思路，论文并未将这项实验定义为 LoRA 微调。（Sec. 3.5，PDF p. 8）

下游使用 lm-evaluation-harness 的 0-shot 测试，八项任务覆盖常识补全、科学问答、物理常识、指代消解、是非问答、学科知识和末词预测。表中的 Avg 是这八个所报百分比分数的等权算术平均。

## 四：结果——质量、成本与机制证据

### 1. 三个自定义规模：细粒度质量最好，分块更实用

以下是 Table 1 的验证 PPL，均越低越好。（PDF p. 5）

| 方法 | 220M | 533M | 1044M |
| --- | ---: | ---: | ---: |
| Baseline | 38.71 | 32.00 | 29.70 |
| AttnRes | 37.39 | 31.75 | 31.76 |
| Full AttnRes | 37.30 | 31.68 | 33.36 |
| Delta Block | 37.08 | 31.16 | 29.19 |
| Delta AttnRes | **36.83** | **31.05** | **29.13** |

细粒度 Delta AttnRes 相对 Baseline 的 PPL 降幅依次是 **4.86%、2.97%、1.92%**；Delta Block 是 4.21%、2.63%、1.72%。三个配置内，Delta 方法均改善，而作者的 AttnRes 复现在 1044M 退化。原文说收益“随深度扩大”，但这三个相对降幅实际上缩小；规模扩展结果应按表理解。

1044M 的成本更能说明取舍：

| 方法 | PPL ↓ | 吞吐，k token/s ↑ | 单卡峰值显存，GB |
| --- | ---: | ---: | ---: |
| Baseline | 29.70 | 108 | 22.5 |
| AttnRes | 31.76 | 71 | 31.6 |
| Full AttnRes | 33.36 | 49 | 52.0 |
| Delta Block | 29.19 | 86 | 28.4 |
| Delta AttnRes | 29.13 | 34 | 77.7 |

Delta Block 比细粒度版本只高 0.06 PPL，约 **0.21%**，却有 2.53 倍吞吐、约 36.6% 的显存占用。相对 Baseline，它的吞吐低 20.4%、显存高 26.2%；同 token 预算对应约 25.6% 更长的稳态训练时间。细粒度版本显存约为 Baseline 的 3.45 倍，吞吐低 68.5%。原文将 0.06 PPL 的差距写作“小于 0.2%”，按展示值计算略高于该阈值。（Table 1，Sec. 3.2，PDF pp. 5–6）

### 2. 标准架构与 7.57B：更好的 PPL 伴随吞吐成本

| 配置 | 方法 | PPL ↓ | 吞吐，k token/s ↑ | Mem，GB |
| --- | --- | ---: | ---: | ---: |
| Qwen3-0.6B 架构 | Baseline | 32.22 | 173 | 13.8 |
| 同上，$N=28$ | AttnRes | 32.38 | 111 | 28.4 |
| 同上，$N=28$ | Delta Block | **31.45** | 117 | 25.2 |
| 7.57B | Baseline | 17.43 | 21.4 | 41.6 |
| 7.57B | AttnRes | 18.58 | 12.5 | 44.0 |
| 7.57B | Delta Block | **16.00** | 14.0 | 42.7 |

来源：Tables 2–3，PDF p. 6。0.6B 标准架构上的 PPL 改善为 2.39%，说明质量收益不限于三个自定义配置。但 $N=28$ 的分块很细，Delta Block 显存比 Baseline 高约 82.6%，不能把“分块”一概等同于很低成本。

7.57B 上，Delta Block 相对 Baseline 的 PPL 改善为 **8.20%**，相对作者的 AttnRes 复现改善 13.89%。吞吐比 Baseline 低 **34.6%**，显存高 2.6%；同 token 预算下稳态时间约为 1.53 倍。它比 AttnRes 快 12.0%，但并未超过普通残差的吞吐。7.57B 没有报告两个细粒度版本，不能声称它们也已在该规模完成验证。（Sec. 3.3，PDF pp. 6–7；Checklist limitations，p. 15）

### 3. 块数消融：源越多并不总是更好

Table 4 中 $B$ 表示块数，下表沿用此表的口径。（PDF p. 7）

| 规模 | $B$ / 源数 | PPL ↓ | 吞吐，k token/s ↑ | Mem，GB |
| --- | --- | ---: | ---: | ---: |
| 220M | 1 / 2 | 37.44 | 396 | 8.7 |
| 220M | 2 / 3 | 37.08 | 318 | 8.8 |
| 220M | 4 / 5 | 36.98 | 343 | 9.1 |
| 220M | 6 / 7 | 36.92 | 315 | 9.3 |
| 220M | 12 / 13 | 37.34 | 318 | 10.2 |
| 220M | 细粒度 / 25 | 36.75 | 212 | 12.4 |
| 533M | 2 / 3 | 31.23 | 217 | 14.7 |
| 533M | 4 / 5 | 31.27 | 160 | 15.4 |
| 533M | 6 / 7 | 31.19 | 194 | 16.1 |
| 533M | 12 / 13 | 31.22 | 171 | 18.3 |
| 533M | 24 / 25 | 31.18 | 137 | 23.5 |
| 533M | 细粒度 / 49 | 31.05 | 80 | 33.6 |

220M 在 $B=4$–6 附近取得较好的分块结果，进一步细分到 12 块反而退化。533M 的块级 PPL 仅在 31.18–31.27 间变化，增加源数的质量收益很小；显存总体上随源数增加。

这组实验与 Table 1 的同名配置数值不同：例如 220M 的 Delta Block 在 Table 1 为 37.08 PPL / 306k / 5.9GB，Table 4 的 $B=4$ 为 36.98 / 343k / 9.1GB。作者公开运行索引把它们列为不同运行，但论文没有充分说明这些成本差异的具体测量条件。因此这里分别解读各表，不把两表拼成一条精确的性能曲线。Table 4 的吞吐也并非随源数单调变化，不能把偶然的速度排序当作结构复杂度规律。

### 4. 微调：平均分增加 0.6 个百分点，主要由 ARC-Easy 推动

Table 5，PDF p. 8。数值为原文所报 0-shot 百分比分数；最后一列是 Delta Block 减 Baseline FT 的**百分点**差。

| 任务 | Pretrained | Baseline FT | AttnRes | Delta Block | 相对 Baseline FT |
| --- | ---: | ---: | ---: | ---: | ---: |
| HellaSwag | 47.3 | 50.1 | 49.4 | 50.0 | −0.1 |
| ARC-Easy | 56.2 | 61.5 | 60.2 | **66.5** | **+5.0** |
| ARC-Challenge | 33.9 | 36.7 | 35.3 | **37.3** | +0.6 |
| PIQA | 67.4 | 69.2 | 68.8 | **69.4** | +0.2 |
| WinoGrande | 55.9 | 57.0 | 57.9 | 56.7 | −0.3 |
| BoolQ | 63.8 | 70.3 | 70.3 | 70.3 | 0.0 |
| MMLU | 40.3 | 45.2 | 42.5 | 44.8 | −0.4 |
| LAMBADA | 40.0 | 50.0 | 48.4 | 49.8 | −0.2 |
| 等权平均 | 50.6 | 55.0 | 54.1 | **55.6** | **+0.6** |

相对未经该轮继续训练的 checkpoint，Delta Block 八项均提高；相对真正有训练预算匹配意义的 Baseline FT，则是 **3 胜、1 平、4 负**。ARC-Easy 的 5.0 点提升单独贡献平均值中的 0.625 点，其余七项合计稍有下降。因此这里观察到的是由特定任务推动的小幅平均优势。论文明确是单次训练结果，没有误差条；0.6 点差异应按这一证据强度理解。（Checklist statistical significance，PDF pp. 17–18）

![微调路由与验证损失](figures/finetune_analysis.png)

原图 Fig. 5，PDF p. 8。左图横轴为层号，纵轴为最大路由权重；中图的斜线柱给出其平均值，Delta Block 为 0.87、AttnRes 为 0.49；右图为 20K 步内的验证 loss。右图显示 Delta Block 在早期较低，两者后期接近，最终蓝线还略低。它没有画出 Baseline FT 曲线，纵轴范围约 2.66–2.80，也没有显示正文描述的 3.96 初始尖峰。因此“2.8→3.96”应标为正文叙述，不能说已被这张图展示或由它证明严格无扰动初始化。

### 5. 路由机制：分布更集中，但“塌缩”的判据需要更精确

![从零训练的路由与 loss 分析](figures/qwen06b_analysis.png)

原图在 PDF p. 2 为 Fig. 1，在 p. 6 重复为 Fig. 4。图内绿色图例写作 Delta-AttnRes，正文与图注将该配置称为 **Delta Block，$N=L=28$**；这里按正文和 Table 2 解释。

左图显示随着层数增加，红线最大权重降至约 0.2，绿线在深层保持约 0.55–0.60；中间斜线柱的跨层平均最大权重为 0.35 与 0.62，后者约为前者的 1.77 倍；右图中绿色训练 loss 较低。中图另有 Utilization 柱，但正文未充分定义其统计方式，因此不把它当作可直接比较的额外质量指标。

最大权重更高表示选择更集中，却不能单凭最大值 0.2 认定“接近均匀”。若有约 28 个候选，严格均匀的最大权重约为 $1/28=0.036$，0.2 仍高出很多。跨深度候选数还在增加，最好同时查看归一化熵或相对均匀分布的差异。图中第一层若只有一个候选，最大权重为 1 也不代表学出了特殊选择能力。这些是对作者 routing collapse 解释的具体修正。（Sec. 4.1，PDF pp. 8–9）

![从零训练得到的深度路由矩阵](figures/fig2_routing_patterns.png)

原图 Fig. 6，PDF p. 9。横轴为源索引，纵轴为接收 attention/MLP 子层，颜色条为 0–1 权重；上三角为空是尚不可访问的未来深度。右图存在更亮的局部峰值和 embedding 列，支持选择更集中的观察。两图色标范围相同，能够比较局部集中程度；但热点与更低 PPL 同时出现，不能单独确定究竟是源表示、加性通路还是优化差异产生了改善。

## 五：结论——值得保留的设计与下一步验证

这篇论文最有用的设计是为自然残差流增加一个按 token 选择历史贡献的读出接口。Delta AttnRes 给出最细的选择粒度，Delta Block 则显示了明显更好的训练成本取舍：1044M 上仅牺牲约 0.21% PPL，相对细粒度版本获得 2.53 倍吞吐。7.57B 的 8.2% PPL 改善是值得进一步验证的结果，但来自约 1.31B token、固定训练步数的实验，并伴随约 1.53 倍稳态训练时间。

机制判断要与实验成绩分开：原始 AttnRes 已使用子层或块内输出，零查询也不一般性地使加性路由成为恒等映射，公开 Delta Block 的源构造与边界差分公式存在差异。它们影响的是创新定位、因果解释和复现定义，而不是可以通过阅读直接否定或重新确认的训练数值。

若沿此方向开展实验，最优先的工作是固定源集合定义，核对每个块源是否等于相邻边界之差，再做“相同源、加性/替代式读出”的对照；微调则测量 step 0 的 logits 差异，并对齐路由学习率和门控设置。对于实际选型，应补充同墙钟预算的 PPL 比较；这些实验能直接回答额外深度读出究竟带来了多少独立收益。