# Relaxed Recursive Transformers：用逐层 LoRA 放松层间共享

论文：**Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA**  
作者：Sangmin Bae、Adam Fisch、Hrayr Harutyunyan、Ziwei Ji、Seungyeon Kim、Tal Schuster。  
版本：[arXiv:2410.20672v3](https://arxiv.org/abs/2410.20672v3)，arXiv 修订日期 2025-02-28，ICLR 2025；PDF 首页印有 2025-03-03。  
本次获取与研读日期：2026-09-28。成品修订：r1。  
原始材料：[本地论文 PDF](../source/paper.pdf) · [作者主 TeX](../source/tex/files/googledeepmind.tex) · [源码清单](../source/tex/manifest.json)。  
配套成品：[英文组会幻灯片](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。

## 论文总览

这篇论文研究的是：**已有一个训练充分的 Transformer，如何把它转换成存储参数更少、仍然保留较强能力的循环模型？** 它不从零训练一种全新的循环架构，而是复用已有模型的权重和知识，再进行有限的继续训练（uptraining）。

方法包含三个相互衔接的部分：

1. 把原来的 $L$ 层压成 $L/B$ 个独立层，循环执行 $B$ 次，保持原来的计算深度。
2. 每个实际深度使用独立 LoRA，表达相对于共享权重的低秩差异；用原模型权重残差的截断 SVD 初始化。
3. 共享层块使不同循环轮次的请求可以合批；配合早退，作者模拟了连续深度批处理（Continuous Depth-wise Batching，CDB）的吞吐潜力。

最有力的实证结果是：Gemma 的严格循环模型在 15B tokens 继续训练后，七任务平均准确率为 **51.7%**，同非 embedding 参数规模、从零训练 15B tokens 的非循环基线为 **38.2%**。加入逐层 LoRA、60B tokens 继续训练和蒸馏后，rank 512 模型达到 **58.4%**，接近接受同等继续训练的全尺寸基线 **58.6%**。这里的基线定义、参数口径和历史预训练成本都很重要。

阅读时应始终保留三个限定：

- **58.6% 是全尺寸模型继续训练 60B tokens 后的成绩；原始 Gemma 检查点为 61.7%。**
- **“约减半”主要指非 embedding 参数；循环计算深度和 KV cache 不会随之自动减半。**
- **2–3 倍吞吐是实测组件耗时与 oracle 早退轨迹结合的模拟结果，未验证为端到端服务加速。**

## 结构地图与阅读范围

下文页码均为从 1 开始的 PDF 页码，本版本与页脚页码一致。已阅读主 TeX 实际引用的正文、附录 A–K 及相关图表文件，并对照 PDF 的公式、关键结果表和原图；参考文献用于定位，不表示逐篇阅读了所有被引论文。没有运行作者模型或复现实验。

| 原文章节 | 论证作用 | PDF 定位 |
|---|---|---|
| 1. Introduction | 从预训练模型转换循环模型的动机 | pp.1–3；Fig.1 p.2 |
| 2.1 Basic Transformer Architecture | 层递推记号 | p.3；Eq.(1) |
| 2.2 Recursive Transformer: Looped Layer Tying | CYCLE 共享与三种初始化 | pp.3–4；Eq.(2)，Fig.2 |
| 2.3 Relaxed Recursive Transformer: Multi-LoRA Layers | 深度专用 LoRA 与残差 SVD | pp.4–5；Eqs.(3)–(5) |
| 2.4 Continuous Depth-wise Batching and Early-Exiting | 跨循环轮次调度 | pp.5–6；Fig.3 p.5 |
| 3.1 Experimental Setup | 模型、训练和评价 | p.6；Table 1 |
| 3.2 Non-Recursive Model Baselines | 全尺寸与缩小模型的比较口径 | p.7；Table 2 |
| 3.3 Main Results | 最终精度与参数量关系 | pp.7–8；Fig.4 p.8 |
| 3.4 Initialization Techniques for Looped Layers | 严格共享初始化消融 | pp.8–9；Fig.5 p.9 |
| 3.5 Relaxation of Strict Parameter Sharing via LoRA Modules | Average、SVD、rank 消融 | pp.9–10；Fig.6 p.10、Fig.7a p.11 |
| 3.6 Extended Uptraining and Knowledge Distillation | 延长训练与知识蒸馏 | pp.10–11；Fig.7 |
| 3.7 Early-Exit Training Strategy for Recursive Transformer | 中间出口训练 | pp.11–12；Table 3 p.11 |
| 3.8 Hypothetical Generation Speedup via CDB | 假想吞吐评估 | pp.12–13；Fig.8 p.12 |
| 4. Related Work；5. Conclusion and Future Work | 定位与未解决的问题 | pp.13–15 |
| A–E | Transformer 组件、共享策略、SVD 示例、原始模型、实验协议 | pp.25–28 |
| F | 初始化完整消融和小规模 Pythia | pp.28–32；Tables F.1–F.3 |
| G–H | rank、零初始化、分模块 rank、prefix 替代 | pp.33–37；Tables G.1、G.2、H.1 |
| I–J | 长训练/KD 及早退完整结果 | pp.38–43；Tables I.1–I.2、J.1–J.3 |
| K | 计时、吞吐模拟与误差来源 | pp.44–49；Tables K.1–K.4 |

## 一：动机——把参数存储与计算深度分开

普通 Transformer 的每层都有独立权重。层数增加既增加计算步骤，也增加需要存储的参数。循环结构把这两者拆开：可以只保存半数独立层，却仍执行原来那么多层变换。这样首先减少的是权重存储；在某些部署条件下，节省的显存可容纳更多请求。

完全共享的代价是，每组权重需要同时适应多个深度的输入分布和功能。一套矩阵既要处理较浅的表征，又要处理经过一轮变换后的较深表征，可能形成优化冲突。作者因此把“共享还是不共享”的离散选择改成“共享主干，加多少深度专用容量”的连续折中。

与 Universal Transformer、ALBERT 等相关工作的关系是：循环和层间共享本身已有先例；本文的核心推进是**从现成预训练 LLM 转换、初始化共享层及其低秩残差，并研究这种结构适合什么推理调度方式**。论文也讨论潜在的 recurrent-depth reasoning，但没有用数学推理、代码生成或循环次数外推实验验证这些展望。见 Sec.4–5，pp.13–15。

![图1：普通、循环和放松循环 Transformer](figures/fig-01-overview.png)

原文 Fig.1，PDF p.2，直接复用作者矢量图并生成 PNG。由左到右分别为独立层、共享层块重复执行、共享层块附加各轮专用 LoRA。图中 $N/K$ 对应正文循环次数 $B$；“只保存 $K$ 层”并不表示只计算 $K$ 层。

## 二：方法——共享主干、残差初始化与深度调度

### 2.1 记号与循环计算

| 记号 | 含义 |
|---|---|
| $L$ | 原模型及完整展开后的总深度 |
| $B$ | 共享块的循环次数，要求整除 $L$ |
| $K=L/B$ | 实际存储的独立层数；本文讲解中使用的简写 |
| $\ell$、$t$ | 展开后的层深与自回归时间步 |
| $\Phi_\ell$ | 原模型第 $\ell$ 层参数 |
| $\Phi'_j$ | 共享块中第 $j$ 层参数 |
| $\Delta\Phi'_\ell$ | 深度 $\ell$ 独有的 LoRA 参数 |
| $r$ | 某个 LoRA 矩阵分解的秩 |

普通模型按原文 Eq.(1) 计算：

$$
\mathbf h_t^\ell=f(\mathbf h_t^{\ell-1};\Phi_\ell),\qquad \ell=1,\ldots,L.
$$

其中 $f$ 还隐含了自注意力需要的上下文和缓存，不能理解成仅依赖当前 token 的无状态函数。令

$$
j(\ell)=((\ell-1)\bmod K)+1,
$$

严格循环模型将其替换为原文 Eq.(2)：

$$
\mathbf h_t^\ell=f(\mathbf h_t^{\ell-1};\Phi'_{j(\ell)}).
$$

例如 Gemma 2B 有 18 层，$B=2$ 时保存 9 个独立层，顺序执行这 9 层两次。共享覆盖 Transformer 块内的线性权重及 RMSNorm 等可训练参数。embedding 与输出头不因这种层块共享而减半。见 Sec.2.1–2.2，p.3。

本文采用 **CYCLE**：$[1,2,3,1,2,3]$。附录 B 还说明了 SEQUENCE：$[1,1,2,2,3,3]$ 和 CYCLE(REV)：$[1,2,3,3,2,1]$。作者选择 CYCLE 的主要理由是它自然形成可用于早退和跨深度合批的重复块；本文没有对三种策略做全面的大模型等预算竞赛。见 p.25，Fig.B.1。

### 2.2 共享权重怎样从原模型得到？

![图2：共享权重初始化与残差 SVD](figures/fig-02-initialization.png)

原文 Fig.2，PDF p.4。图中的 6 层模型压成 3 个独立层、循环两次；层号表示初始化取自原模型的哪个位置。

| 初始化 | 操作 | 原文 6 层示例 | 直觉 |
|---|---|---|---|
| Stepwise | 间隔选层，保留首尾层的来源 | $[W_1,W_3,W_6]$ | 保留预训练深度路径中的代表变换 |
| Average | 对循环对应位置的原始权重平均 | $[(W_1+W_4)/2,(W_2+W_5)/2,(W_3+W_6)/2]$ | 找一个各深度共用的中心 |
| Lower | 直接用原模型较低层 | $[W_1,W_2,W_3]$ | 保留输入侧的连续层块 |

“保留首尾层”说的是**初始化时选取的来源**，这些权重之后仍属于循环块，并不是额外留在循环外的两个独立层。Stepwise 对严格循环模型通常更好；Average 与后面的残差 LoRA 更匹配。

### 2.3 每个展开深度拥有自己的 LoRA

原文 Eq.(3) 将各深度差异加入共享层：

$$
\mathbf h_t^\ell
=f(\mathbf h_t^{\ell-1};\Phi'_{j(\ell)},\Delta\Phi'_\ell).
$$

对一个输入维度为 $k$、输出维度为 $d$ 的线性变换：

$$
\widetilde W_\ell=W'_{j(\ell)}+B_\ell A_\ell,\qquad
A_\ell\in\mathbb R^{r\times k},\quad B_\ell\in\mathbb R^{d\times r},
$$

$$
\mathbf z=W'_{j(\ell)}\mathbf x+B_\ell(A_\ell\mathbf x).
$$

这里矩阵 $B_\ell$ 与循环次数 $B$ 是不同概念。适配器附在线性权重上，包括注意力投影和 FFN；循环同一共享层时，根据展开深度选不同的适配器。**共享主干和 LoRA 一起训练**，并非通常“冻结底座、只调 LoRA”的参数高效微调。见 Sec.2.3，pp.4–5。

### 2.4 SVD 初始化拟合的是“原权重减共享权重”

对每个深度，计算残差：

$$
R_\ell=W_\ell-W'_{j(\ell)}.
$$

做截断奇异值分解，对应原文 Eq.(4)：

$$
R_\ell\approx U_r^\ell\Sigma_r^\ell(V_r^\ell)^\top,
\qquad
B_\ell\leftarrow U_r^\ell\Sigma_r^\ell,\quad
A_\ell\leftarrow(V_r^\ell)^\top.
$$

于是初始化时就有：

$$
\widetilde W_\ell\approx W_\ell.
$$

这解释了为什么先前各层学习到的差异不会全部被平均操作抹掉。它也提供了一个 rank 旋钮：$r=0$ 回到严格循环；增大 $r$ 可以保留更多残差信息。残差恰为零时，附录 C 使用通常的 LoRA 零增量初始化，即 $A$ 随机、$B$ 为零，而不是两者同时设零。

**教学补充，区别于论文报告的实验：**截断 SVD 最小化给定秩下的矩阵 Frobenius 重构误差：

$$
\min_{\operatorname{rank}(X)\le r}\|R-X\|_F^2
=\sum_{i>r}\sigma_i^2.
$$

但这不保证网络输出误差、继续训练后的 loss 或任务准确率随 $r$ 单调改善。激活分布、层间组合和共享参数共同更新都影响结果；Stepwise 的 rank 消融恰好展示了这种区别。

同样，“full rank 恢复原模型”应谨慎理解：Eq.(5) 直接保证的是相应**线性矩阵**的恢复。共享的归一化参数等仍可能不同，整个网络逐点等价还需要额外条件；高秩分解也未必继续节省存储。见 Sec.2.3 p.5、App.C p.26。

### 2.5 参数、FLOPs、缓存是三种不同的成本

下面是根据架构作的成本解释，不是作者额外测得的缩放定律。忽略少量特殊参数，若原模型层块参数为 $P_{\rm blocks}$、embedding 和输出头参数为 $P_{\rm emb}$：

$$
P_{\rm recursive}\approx P_{\rm emb}+\frac{P_{\rm blocks}}{B},
$$

$$
P_{\rm relaxed}\approx P_{\rm recursive}
+\sum_{\ell,m}r_{\ell,m}(d_m+k_m).
$$

第二个求和遍历全部展开深度 $\ell$ 及添加 LoRA 的矩阵 $m$。因此 LoRA 增量是按实际深度付费，不能再除一次 $B$。

- 不早退时仍执行 $L$ 层；严格共享不自动把计算次数减半。
- 不同深度输入的 hidden states 不同，即便使用同一 $W_K,W_V$，得到的 KV states 通常仍不同；权重共享不等于缓存共享。
- 若把每层 LoRA 都折叠进独立完整矩阵，推理算子可能简化，但会重新物化多份大权重，损害原来的存储优势。
- 权重更少是否允许更大 batch，取决于当时瓶颈究竟是参数、缓存、激活还是其他缓冲区。

### 2.6 训练链条与两种蒸馏

完整流程可以按以下顺序理解：

1. 从预训练全尺寸模型选择/平均共享层。
2. 若使用 relaxed 版本，以每个展开深度的原始权重为目标初始化 LoRA。
3. 在 SlimPajama 上继续训练 15B 或 60B tokens，更新所有参数。
4. 最终精度实验加入全尺寸教师的在线知识蒸馏，选用 forward KL。
5. 若研究早退，在上述模型上额外训练 15B tokens，使各循环末端能预测 token。

第三、四步的教师是**先在 SlimPajama 继续训练了 15B tokens 的全尺寸模型**。一般形式的 forward KL 为 $D_{\rm KL}(p_T\|p_S)$，用教师分布约束学生分布；此式为概念解释。论文未给足所有蒸馏温度、混合系数和实现细节，不应自行补成一套确定配置。60B 是该组继续训练预算；早退阶段另加 15B，才形成对应的 75B 后处理链条。见 Sec.3.6、App.I，pp.10–11、38–39。

早退阶段还使用**模型自身最终出口的停止梯度输出**监督中间出口，属于 self-distillation，与前面的外部全尺寸教师不同。

### 2.7 连续深度批处理怎样工作？

![图3：普通批处理、深度批处理与早退](figures/fig-03-batching.png)

原文 Fig.3，PDF p.5，保留三个面板与坐标的准确裁切。横轴为调度时间步，纵轴为模型阶段，颜色区分到达批次，框内数字是样本数；最大 batch 为 32。

普通模型不同深度使用不同矩阵，难把正在第二阶段的 16 个样本与刚进入第一阶段的 16 个样本放进同一主干计算。循环模型每轮执行同一块，可以把它们组合起来：一个样本走第 2 轮，另一个走第 1 轮，但共享块内当前位置相同。若样本早退，释放的槽位可立即装入下一 token 或其他排队请求。

适用条件是**同一共享块操作的对齐**，不是任意两个深度都能合成一次矩阵运算。Relaxed 模型还要根据各样本所处轮次选择不同 LoRA；论文通过拼接 LoRA 权重并行执行，代价是冗余计算，尚未采用专门优化的服务内核。见 Sec.2.4、App.K，pp.5–6、44–45。

## 三：实验——先分清各组比较在检验什么

### 3.1 模型与训练配置

| 原始模型 | 层数 | 非 embedding / embedding 参数 | 注意力 | 起始检查点预训练量 |
|---|---:|---:|---|---:|
| Gemma 2B | 18 | Table 1：1.98B / 0.52B | MQA，1 个 KV head | 3T tokens |
| TinyLlama 1.1B | 22 | 0.97B / 0.13B | GQA，4 个 KV heads | 105B，早期检查点 |
| Pythia 1B | 16 | 0.81B / 0.21B | MHA，8 个 KV heads | 300B |

来源：Table 1，p.6。Gemma 的后续结果表把非 embedding 参数记作 1.99B；下文数值比较沿用各结果表口径，不把 1.98B/1.99B 的细小差异解释成结构变化。

共同继续训练配置（App.E，pp.27–28）：上下文 2048，batch 约 2M tokens；AdamW，学习率 $2\times10^{-4}$，cosine schedule；15B / 60B 训练分别 warmup 200 / 800 steps；8 张 H100，DeepSpeed ZeRO 与混合精度。默认 $B=2$，Gemma 另测 $B=3$。早退后训练基本沿用这些配置，另外消耗 15B tokens。小规模 Pythia 410M/160M 的附录实验使用 Pile，不能与主实验的 SlimPajama 混为一组。

### 3.2 指标与基线

准确率来自 LAMBADA、HellaSwag、PIQA、WinoGrande、ARC-easy、ARC-challenge、OpenBookQA **七个任务的平均**，越高越好；它不是将所有测试样本合起来的总体准确率。除 LAMBADA 与 WinoGrande，作者说明按候选答案字节长度归一化打分。使用 LM Evaluation Harness；论文说遵循框架默认 shots，但未逐项给出 shots 数和完整版本配置。

困惑度（PPL）在 SlimPajama、RedPajama、PG19 上评估，越低越好。它衡量语言建模，不等价于七任务准确率。

| 比较对象 | 检验问题 | 需要保留的条件 |
|---|---|---|
| 原始全尺寸检查点 | 能保留多少原模型能力？ | Gemma 原始值 61.7% |
| 同预算继续训练的全尺寸模型 | 在相同新数据分布下，压缩损失多大？ | Gemma 15B 后 60.1%，60B 后 58.6% |
| 缩小的非循环模型，从零训练 | 有预训练起点的循环转换是否实用？ | 与转换模型参数量相近，但历史预训练不同 |
| 随机初始化的循环模型 | 仅增加循环结构是否足够？ | 分离“有循环”与“继承预训练”的作用 |
| 预训练选层、但不循环的模型 | 循环本身是否在继承权重之外提供增益？ | 附录 F.3，Pythia 410M |

Gemma 在 SlimPajama 继续训练后七任务平均值下降，因此作者主要采用“继续训练后的全尺寸模型”作为目标。数据质量/分布差异是作者解释，实验未单独辨认所有因果因素。TinyLlama 采用 105B 的欠训练早期检查点作主要参照；并不是后来训练充分的 TinyLlama 3T，后者在 Table D.1 为 **53.13%**。见 Sec.3.2 p.7、App.D p.26。

### 3.3 速度协议与精度协议不同

速度分析在 A100 40GB 上使用 dummy 权重和输入测组件耗时，然后用 20K 个排队样本模拟 token 早退路径。主要配置为 prefix 512、decode 2048；另一配置为 16GB 显存限制、prefix 64、decode 256。轨迹来自三个语言建模测试集，假设它们是模型生成文本。

oracle 选择最早一个与最终出口预测相同的循环作为退出点。这是用于估计潜力的事后规则，真实部署时无法免费知道未来最终预测。少样本任务准确率与这些语料的吞吐轨迹不是同一实验，因此不能把表中的准确率直接称为“动态早退系统的生成质量”。见 Sec.3.8、App.E/K。

## 四：结果——按原文实验问题逐组解读

### 4.1 主结果：精度可沿参数预算调节，但目标线要读对

下表为 Gemma，$B=2$。准确率为七任务均值；参数为非 embedding 参数。最终模型列使用 60B tokens 与外部教师蒸馏，尚未进入额外的早退训练。

| 模型 | N-emb | 15B，无 KD | 60B，有 KD |
|---|---:|---:|---:|
| 缩小非循环，从零训练 | 0.99B | 38.2% | 44.9% |
| 严格循环，Stepwise | 0.99B | 51.7% | 54.9% |
| Relaxed，Average+SVD，r=64 | 1.07B | 52.1% | 55.8% |
| Relaxed，Average+SVD，r=128 | 1.15B | 52.5% | 56.6% |
| Relaxed，Average+SVD，r=256 | 1.30B | 54.2% | 57.0% |
| Relaxed，Average+SVD，r=512 | 1.60B | 55.5% | 58.4% |

来源：Table I.2，p.39；主文 Fig.4，p.8。对应全尺寸基线为 1.99B N-emb：原始 61.7%，15B 后 60.1%，60B 后 58.6%（Table 2，p.7；全尺寸继续训练未加表中学生的 KD）。

![图4a：Gemma 最终准确率与模型参数量](figures/fig-04a-gemma.png)

原文 Fig.4a，PDF p.8，作者单面板原图。横轴为非 embedding 模型规模，纵轴为平均 few-shot accuracy；星形为全尺寸目标，三角为缩小基线，圆点为严格循环，方形为不同 rank 的 relaxed 模型。星形在约 58.6%，不是原始 61.7%。

由表中数值可直接算出：

- 15B 时严格循环比同尺寸从零非循环高 **13.5 个百分点**；按均值计算的错误率相对减少约 **21.8%**，不是准确率提高 22 个百分点。
- 60B+KD 时严格循环比同尺寸非循环蒸馏基线高 **10.0 个百分点**。
- r=512 比同预算全尺寸低 **0.2 个百分点**，但比未继续训练的原始检查点低 **3.3 个百分点**。
- 严格循环的 0.99B N-emb 加上约 0.52B embedding/head，合计约 **1.51B**；原模型约 2.51B，总参数减少约 **40%**。r=512 则约 2.12B，总参数减少约 **16%**。这是依据表中四舍五入参数的估算。

因此，主文 p.8 将 58.6% 简称为原始模型表现，容易让人误读；按 Table 2 与 Table I.2 应表述为**原始预训练模型经过同预算继续训练后的基线**。

其他架构也有效，但边界不同。Table I.2 中，TinyLlama 严格循环 44.3%、r=512 为45.9%，高于起始 105B 检查点的43.3%，却低于全尺寸再训练60B后的47.4%，更低于3T检查点的53.13%。Pythia 严格循环45.2%、r=512为47.0%，全尺寸60B目标48.6%。不能将“超过起始 TinyLlama”泛化为超过充分训练的同系列模型。

### 4.2 初始化：预训练知识是主要增益来源，循环还有独立作用

Gemma，15B tokens，0.99B N-emb，$B=2$（Table F.1，p.30）：

| 初始化/模型 | 平均准确率 |
|---|---:|
| 非循环，从零训练 | 38.2% |
| 循环，随机初始化 | 37.6% |
| 循环，Lower | 47.1% |
| 循环，Average | 46.7% |
| 循环，Stepwise | **51.7%** |

Stepwise 相比随机循环高14.1个百分点。单纯把随机模型变成循环，并没有在这里超过从零非循环模型。它说明“借到预训练知识”不可从贡献中省略。

附录 F.3 的 Pythia 410M 更直接分离两种因素：在相同150M N-emb、15B Pile tokens下，随机非循环37.63%，随机循环38.02%，预训练选层非循环40.35%，预训练选层循环41.54%。继承权重后，循环进一步提高**1.19个百分点**；但循环版本计算更深，这不是等 FLOPs 比较。见 p.32，Table F.3。

更细消融见 App.F pp.28–32：Gemma 的 Stepwise 保留首尾来源较好；Average 中归一化权重平均或选取单层差异较小，某些模型将 norm 设零则严重退化。Stepwise 是总体上可靠的选择，并非所有准确率列都严格第一：Pythia 1B 的 Lower 43.6% 略高于 Stepwise 43.5%，Pythia 160M 也有小幅逆序；其 PPL 更支持 Stepwise 的稳定优势。论文未报告支持这些微小差异的多种子显著性证据。

### 4.3 放松共享：初始化与 rank 必须一起选

![图7a：不同共享初始化下的 rank 扫描](figures/fig-07a-rank.png)

原文 Fig.7a，PDF p.11。横轴为 LoRA rank，纵轴为七任务均值；蓝色 Average、橙色 Stepwise、绿色 Lower，条件为 Gemma 15B 继续训练。Average 随 rank 增加总体改善，Stepwise 在中等 rank 出现明显低谷。

Table G.2（p.36）的关键对照：

| Gemma 配置 | 无 LoRA | r=512，零增量初始化 | r=512，SVD |
|---|---:|---:|---:|
| Stepwise | 51.7% | 53.1% | 50.5% |
| Average | 46.7% | 49.0% | **55.5%** |
| Lower | 47.1% | 49.5% | 53.2% |

Average+SVD 比 Average+Zero 高 **6.5 个百分点**；但 Stepwise+SVD 比 Stepwise+Zero 低2.6个百分点。不能只说“SVD 必然优于零初始化”。

作者解释是：Average 主干与各对应深度残差更适合由有限秩近似，Stepwise 则可能把对另一个深度不合适的部分变化引入网络。这个解释与结果相容，但论文没有完整的残差奇异值谱或因果机制实验加以证明。

**教学推导：**$B=2$ 时若 $W'=(W_1+W_2)/2$，两份残差恰为 $\pm(W_1-W_2)/2$。它给两个深度以对称的重构目标，而不天然保证差矩阵本身低秩。增大截断秩时矩阵重构误差必然不增；图上的非单调准确率反映的是网络和优化行为。

分模块 rank 实验（Table G.1，p.35）中，Gemma 从所有矩阵r=256的54.2%，改为FFN r=128后53.3%，参数1.30B→1.18B；只把KV r降到128则54.1%，参数1.29B。FFN降秩同时削掉更多参数，因此不能单独据此断言单位参数的 FFN 重要性更高。

替代方法 prefix relaxation（App.H，p.37）更便于并行，但增益较小。例如同为约1.07B N-emb、Average初始化，prefix版本47.6%，SVD LoRA r=64为52.1%。这一对照支持有效恢复预训练层差异的价值，未证明所有 prefix 设计都弱于 LoRA。

### 4.4 更长训练与外部蒸馏都有效

在严格循环 Gemma 的受控消融中（Table I.1，p.38）：

| 预算与目标 | 平均准确率 | 相对15B无KD |
|---|---:|---:|
| 15B，无 KD | 51.7% | — |
| 60B，无 KD | 53.4% | +1.7个百分点 |
| 15B，forward KL | 53.4% | +1.7个百分点 |
| 15B，reverse KL | 53.3% | +1.6个百分点 |
| 15B，JSD | 52.9% | +1.2个百分点 |
| 15B，TVD | 53.0% | +1.3个百分点 |
| 60B，forward KL | 54.9% | +3.2个百分点 |

最后一行来自 Table I.2。两个单独的1.7不能直接相加，组合后实际提高3.2。Gemma r=128从52.5%到56.6%，提高4.1个百分点，这是正文重点报告的改善；附录中的严格循环 $B=3$ 还从47.8%到53.3%，提高5.5个百分点。因此“最多4.1”是正文所强调配置的表述，不是所有附录配置的全局最大值。

从成本角度，15B/60B只占Gemma原始3T的0.5%/2%，但模型已经继承原预训练成本，教师在线前向和教师继续训练也有成本。结果支持“低增量成本转换”，不支持“用2%训练成本从零得到原模型”。

### 4.5 早退训练：保住最终出口比同时强化所有出口更难

通常的多出口加权 CE：

$$
\mathcal L=\sum_{i=1}^{B}\alpha_i\mathcal L_i,\qquad
\alpha_i=\frac{i}{\sum_{j=1}^{B}j}
$$

对两轮模型给中间出口1/3、最终出口2/3。作者发现这样强调中间出口会损害最终表现，改用最终系数1、中间系数0.1的 aggressive 策略，再加入来自停止梯度最终输出的自蒸馏。论文没有在正文给出完整自蒸馏损失的所有系数，不在这里补造。

15B uptraining后的严格循环Gemma，再做15B早退训练，Table 3 p.11：

| 后训练方案 | 最终出口准确率 | 第一轮准确率 |
|---|---:|---:|
| Weighted CE | 50.5% | 49.8% |
| Aggressive 0.1 | 52.5% | 47.1% |
| Weighted CE + self-KD | 50.4% | 49.9% |
| Aggressive 0.1 + self-KD | **52.6%** | **48.0%** |

最终与中间差距4.6个百分点；这是每个出口固定退出的少样本评价，不是实际动态早退算法的质量损失。

更重要的后续结果在 Table J.2 p.42：对最终60B+KD模型做额外15B早退训练后，严格循环的最终输出从54.9%降至54.0%，r=512从58.4%降至56.2%。对应第一轮分别48.8%与41.7%。**放松共享改善最终精度，却可能削弱中间出口的直接可读性。**

因此，应把主结果58.4%与速度实验56.2%的模型状态分开。附录 J 还显示：从一开始联合训练出口比后训练更差；冻结主干只给分类头加LoRA效果弱；重用或更换SlimPajama tokens在所试设置中差异有限。$B=3$ relaxed 模型因显存不足未使用最终输出KD，不能假设所有早退配置都完全一致。见 pp.40–43。

### 4.6 吞吐：CDB 的结构价值与模拟假设同时成立

主文 Fig.8 / Table K.2（pp.12、47）的 Gemma 结果如下，均为A100 40GB、prefix512/decode2048的模拟；吞吐是三个语料的平均tokens/s，仅计Transformer块。

| 模型与批处理 | 早退训练后最终准确率 | 模拟吞吐 | 相对普通批处理 | 相对CSB |
|---|---:|---:|---:|---:|
| 全尺寸，无连续批处理 | 57.3% | 1080 | 1.00× | 0.71× |
| 全尺寸，连续序列批处理CSB | 57.3% | 1528 | 1.41× | 1.00× |
| 严格循环B=2，CDB+oracle | 54.0% | 2877 | **2.66×** | **1.88×** |
| Relaxed r=64，CDB+oracle | 54.0% | 2157 | 2.00× | 1.41× |
| Relaxed r=256，CDB+oracle | 55.2% | 1921 | 1.78× | 1.26× |
| Relaxed r=512，CDB+oracle | 56.2% | 1719 | 1.59× | 1.13× |

“2.66倍”比较的是无CSB的全尺寸Gemma。相对已采用连续序列批处理的基线是1.88倍；r=512仅为1.13倍。这也不是相同质量下的纯调度对照，因为模型和训练后精度都不同。附录B=3严格循环报告2.74倍，相应最终准确率为51.9%。

作者提到相对Pythia接近4倍：Table K.2的普通Pythia平均吞吐约770，2877/770约3.74。这是跨模型比较，Gemma与Pythia的MQA/MHA、KV大小和结构都不同，不能把倍率归结为循环单一因素。

App.K p.45明确列出模拟误差来源：

1. 使用真实语料假装模型生成轨迹，尚未验证其与自由生成的早退分布一致。
2. oracle不用承担现实置信度判断的失误与计算开销。
3. 最终吞吐只统计Transformer块，排除了embedding/分类头及其调度与同步成本。
4. 提前退出token在后续深度仍可能需要补KV，以支持未来token注意力；模拟计入了缓存内存，但没计入补算时间。

此外，短上下文时LoRA相对开销更突出。作者在Table K.4（p.49）给出16GB限制实验，但该表存在值得保留的核验问题：以Gemma B=2为例，普通模型三列吞吐为1740/3059/4796，循环行为3159/3050/2421，简单均值之比约0.90，却标注2.50×；循环行还与Table K.2重复。已同时核对PDF与作者TeX，无法仅依据论文消除这一不一致。因此本笔记采用Fig.8/Table K.2支持主吞吐数值，不从K.4推导额外的可靠短上下文倍率。

## 五：结论——哪些贡献可信，哪些问题仍开放

### 5.1 最可靠的贡献

本文提供了一条实用的**预训练模型转换路线**：严格共享时用Stepwise继承代表层；需要更多容量时采用Average主干与SVD残差LoRA；继续训练后在参数量与能力间得到多档选择。它用较充分的消融说明，好的预训练起点、共享初始化和增量初始化需要联合考虑。

第二个贡献是提出一种架构与调度之间的联系：重复使用同一层块，让不同循环轮次的token能在共同主干上合批。这是有价值的服务系统设计方向；现有证据支持其潜力，尚不足以兑现为现成的端到端吞吐保证。

### 5.2 主要局限与容易混淆的说法

| 容易产生的理解 | 原文证据允许的说法 |
|---|---|
| 减半参数而没有能力损失 | 严格循环约减半N-emb，能力仍下降；高rank恢复较多能力，节省参数也较少 |
| 用60B tokens追平3T训练 | 继承3T预训练权重后再训练60B；追平的是继续训练后的目标线 |
| 比TinyLlama 1.1B都好 | 主要比较105B早期检查点，非充分训练3T检查点 |
| SVD初始化总更好 | Average/Lower受益明显，Stepwise有反例 |
| rank更大，任务准确率必然更高 | 矩阵重构误差不增；网络准确率可能非单调 |
| 权重共享自然带来KV共享 | 不同深度的hidden states不同，仍需处理各深度KV |
| 论文实现了2–3倍实际服务加速 | oracle轨迹+组件计时的假想吞吐，成本统计不完整 |
| 参数更少意味着训练计算更少 | 不早退时仍计算完整深度，且KD有教师成本 |

主要模型规模仍为约1B–2B，另有更小Pythia消融；没有7B以上验证。任务主要是语言建模和七项少样本评价，未覆盖现代复杂推理、代码、多语种或长上下文质量。多种子方差、统计检验、完整wall-clock训练成本及所有可复现超参数未充分报告，因此不应把0.1–0.2个百分点差异视作确定优势。

### 5.3 由本次阅读得到的后续研究问题

以下是分析建议，不是论文已经证明的结论：

- 在保存同等总参数、训练FLOPs和teacher成本的条件下，循环转换与选层后非循环继续训练如何比较？
- 能否直接优化“共享中心+低秩残差”，使任务敏感的重构目标优于单独的矩阵SVD？
- 如何训练relaxed模型中间出口，同时避免最终出口下降，特别是B=3及以上？
- 真实置信度门控、补KV、多LoRA内核和端到端连续调度全部加入后，相对成熟CSB服务还能保留多少收益？
- 总参数、活跃计算、KV内存、平均吞吐和尾延迟分别在什么请求分布下成为瓶颈？

若用于组会，最值得讨论的不是单个倍率，而是：**模型可由一套共享变换加上深度残差来表示；这种表示节省存储，也改变了可采用的推理调度方式，但精度、早退可用性和算子开销必须联合评估。**

## 原始材料与交付说明

本次使用同一版本v3的PDF与成功下载的作者TeX，主入口为googledeepmind.tex，实际阅读其section下正文/附录以及引用的tables、figures文件。图1、图2、图4a、图7a直接复用作者PDF图件；图3从最终PDF准确裁切；[图件来源清单](figures/manifest.json)保留文件名、页码和裁切坐标。没有以生成式图片替代实验结果。

英文幻灯片按约25分钟主讲组织，另附备份页；中文笔记保留更完整的消融、公式解释与证据限定。所有表格数字来自本版本，文中的百分点、比率及参数节省估算均明确区分于作者直接报告值。