# 混合线性注意力转换中的组件失衡：HedgeCATs 与 SSD 精读

**论文**：Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods  
**作者**：Martin Benfeghoul、Teresa Delgado、Adnan Oomerjee、Haitham Bou-Ammar、Jun Wang、Zafeirios Fountas；前两位为共同第一作者。  
**机构**：Huawei Noah’s Ark Lab（London）、University College London。  
**版本**：[arXiv:2510.05901v2](https://arxiv.org/abs/2510.05901v2)，2025-10-10 修订；本次获取与研读日期：2026-10-15。  
**原文**：[本地 PDF](../source/paper.pdf) · [arXiv PDF](https://arxiv.org/pdf/2510.05901v2) · [英文汇报幻灯片](slides.en.pdf)。下文页码均指从 1 开始的 PDF 页码，与本文印刷页码一致。

## 论文总览

论文追问一个容易被总体分数掩盖的问题：把预训练 Transformer 转成“线性注意力（Linear Attention，LA）+ 滑动窗口注意力（Sliding-Window Attention，SWA）”之后，线性分支究竟有没有提供有用的信息？

作者发现，用 LoLCATs 风格的混合输出迁移和微调获得较高准确率，并不意味着 LA 转换成功。对 Mistral-7B，完整混合模型的六任务平均准确率为 **65.48**，去掉 LA 后为 **65.56**；只留下 LA 则降到 **34.78**，接近关闭全部注意力的 **34.40**。在官方 LoLCATs 的 Llama3.1-8B 检查点上也观察到类似现象。这是论文最有说服力的结果：需要用组件消融来解释混合模型的分数。（Sec. 3.2，Table 1，p. 5）

接着，论文把原因指向**让混合输出共同承担蒸馏目标**，而不只是特征映射太小或 LoRA 参数太少。它提出三种干预：训练完 LA 后才在推理时接入 SWA；先做 LA 权重迁移、再短暂混合微调的 **HedgeCATs**；以及在微调时随机关闭 SWA 的 **Scheduled Sliding-window Dropout（SSD）**。这些方法的有效设置能让完整混合模型优于 SWA-only，同时保留较高平均准确率。论文中的“组件平衡”主要体现为 LA 对任务分数有可观察的增益，并不表示两支各贡献一半。

最值得带走的是一项评估原则：**恢复总体性能和恢复目标组件的功能，是两个需要分别检验的问题。** 本文的实证贡献集中在 7B–8B 指令模型转换与六项零样本任务；长上下文能力和实际吞吐收益并未在实验中直接测量。

## 结构地图

| 原文章节 | 在论证中的作用 | PDF 定位 |
| --- | --- | --- |
| 1 Introduction | 转换动机与混合组件失衡问题 | pp. 1–2 |
| 2 Background & Related Works；2.1–2.4 | LA、混合输出、转换方法、结构化 dropout 背景 | pp. 2–3，Eq. (1)–(4) |
| 3.1 Experimental Set-up | 模型、特征映射、数据与训练配置 | p. 4 |
| 3.2 Ablation Study of LoLCATs Hybrid Attention Modules at Inference time | 用组件消融揭示 SWA 主导 | pp. 4–5，Table 1 |
| 3.3 Reverting Back to Linear Attention-only | 检查纯 LA 与 LoRA 的兼容性 | p. 5，Fig. 1 |
| 3.4 Component-Wise Investigation；3.4.1–3.4.3 | 分离迁移目标、映射维度、激活函数的影响 | pp. 6–7，Tables 2–4 |
| 4.1 Inference-Time Hybrid | 在推理时加入 SWA，比较上下文是否重叠 | pp. 7–8，Fig. 2 |
| 4.2 HedgeCATs: HedgeHog Transfer + LoLCATs fine-tuning | LA 权重迁移与短程混合 LoRA | pp. 7–8，Fig. 3 |
| 4.3 SSD: Scheduled Sliding-window Dropout | dropout 与窗口大小调度 | pp. 8–9，Fig. 4 |
| 5 Discussion & Conclusion | 贡献、动态混合与记忆容量等后续方向 | pp. 8–10 |
| A.1 Notation；A.2 Implementation Details；A.3 Extended Related Works | 运算符、初始化与方法对照 | p. 14，Table 5 |
| A.4 Further Results；A.4.1–A.4.5 | 纯 LA、迁移目标、推理混合、HedgeCATs、SSD 的逐任务结果 | pp. 15–18，Tables 6–12 |

## 一：动机——为什么高分的混合模型可能没有学好 LA

从零训练大型线性模型需要大量算力。后训练线性化（post-training linearisation）希望复用已有模型：把 softmax 注意力替换成可训练的核特征映射，再用少量数据迁移注意力、调整模型参数。SWA 保留局部 softmax 的精细选择能力，LA 用固定大小状态压缩较远历史，两者在功能上互补。（Secs. 1–2，pp. 1–3）

问题在于，局部 softmax 是一条已经与预训练权重相适应的路径，而新加入的 LA 需要重新学习。若训练损失和下游评估都只看最终输出，模型可能通过加强 SWA 就得到不错的分数。此时，系统在结构上包含 LA，任务行为却可能几乎不依赖它。

因此论文把问题拆成两层：首先，去掉某个分支是否会影响已训练模型的表现；其次，哪一种训练设计能让 LA 单独学习到有效映射，并在混合后仍有用。这里所谓评估缺陷，是**仅报告混合模型总体分数而没有测量分支贡献**。论文没有通过任务长度分布等额外分析，证明这些基准天然只能测局部信息。

## 二：方法——从核特征映射到防止分支失衡

### 2.1 LA 如何把历史压缩为固定大小状态

原文 Eq. (1) 的单头 softmax 注意力为

$$
\mathbf O=\operatorname{softmax}\!\left(\frac{\mathbf Q\mathbf K^\top}{\sqrt d}\right)\mathbf V.
$$

其中 $\mathbf Q,\mathbf K\in\mathbb R^{T\times d}$，$\mathbf V\in\mathbb R^{T\times d_v}$。自回归场景还需因果掩码。LA 以非负特征映射 $\phi:\mathbb R^d\to\mathbb R^{d'}$ 构造核 $\phi(\mathbf q)^\top\phi(\mathbf k)$，再利用结合律计算输出。原文 Eq. (2) 写的是对整段序列求和的形式；下面将其改写成**用于讲解的因果形式**：

$$
\mathbf S_t=\sum_{i\le t}\phi(\mathbf k_i)\mathbf v_i^\top,
\qquad
\mathbf z_t=\sum_{i\le t}\phi(\mathbf k_i),
\qquad
\mathbf o_t^{\rm LA}=
\frac{\phi(\mathbf q_t)^\top\mathbf S_t}
{\phi(\mathbf q_t)^\top\mathbf z_t}.
$$

| 符号 | 维度或含义 |
| --- | --- |
| $T$ | 序列长度 |
| $d=h_d$ | query/key 的单头维度 |
| $d_v$ | value 的单头维度 |
| $d'$ | 特征映射输出维度 |
| $\mathbf S_t$ | $d'\times d_v$ 的键值汇总状态 |
| $\mathbf z_t$ | $d'$ 维归一化状态 |
| $\mathbf o_t^{\rm LA}$ | $d_v$ 维输出 |

每个新 token 只需向 $\mathbf S_t$ 增加一个外积、向 $\mathbf z_t$ 增加一个向量。状态无需随历史长度增长。若特征映射是稠密投影，单步投影与读写状态约为 $O(dd'+d'd_v)$；当 $d_v$ 与 $d$ 同阶时，对应原文的整段时间 $O(Tdd')$ 和状态空间 $O(dd')$。（Sec. 2.1，Eq. (1)–(2)，p. 2）

这里的常数大小指递归状态。训练激活、模型权重以及局部 SWA 缓存还要单独计算。精确 softmax 的常规配对计算是二次的，但 Eq. (1) 并不要求所有实现都将整个分数矩阵常驻显存。

### 2.2 正负投影拼接与特征维度

原文 Eq. (4) 使用

$$
\phi(\mathbf x)=
\left[
\sigma(\mathbf W_\phi^\top\mathbf x+\mathbf b)
\oplus
\sigma(-\mathbf W_\phi^\top\mathbf x-\mathbf b)
\right].
$$

$\oplus$ 表示拼接。直觉上，将一个方向及其相反方向分别编码，使非负映射也能响应两种符号的信息。HedgeHog 原方法使用指数激活；本文默认使用沿特征坐标归一化的 softmax，再对指数、ReLU、$1+\mathrm{ELU}$、无激活进行对照。此处 softmax 的归一化轴是特征维，不是历史 token 维，也不是 Transformer 中的 LayerNorm。（Sec. 2.3，p. 3；Sec. 3.4.3，p. 7）

维度比较要区分投影矩阵与最终特征：

| 配置 | $\mathbf W_\phi$ | 拼接后的 $d'$ |
| --- | --- | --- |
| HedgeHog 风格的方阵投影 | $h_d\times h_d$ | $2h_d$ |
| LoLCATs 风格的矩形投影 | $h_d\times(h_d/2)$ | $h_d$ |

缩小投影会同时减少可训练参数和递归状态容量。本文在消融中分别控制这个变化，避免把迁移目标的效果与容量混为一谈。query/key 先应用 RoPE，再经过 $\phi$；附录说明投影采用单位映射加均值 0、标准差 0.1 的高斯噪声初始化，并固定生成器种子。（Sec. 3.1，p. 4；Sec. 3.4.2，p. 6；A.2.1，p. 14）

### 2.3 混合注意力：系数相等不代表功能贡献相等

原文 Eq. (3) 给出一般混合形式：

$$
\operatorname{ATTN}
=\mathbf a\odot\operatorname{SWA}
+\mathbf b\odot\operatorname{LA}.
$$

作者的简化实现取 $\mathbf a=\mathbf g$、$\mathbf b=\mathbf1-\mathbf g$，固定 $\mathbf g=\tfrac12\mathbf1$。默认 SWA 窗口为 64，LA 只处理窗口之外的历史。因此对一个查询，两支通常使用互不重叠的 token 集合；“Overlap”变体才让 LA 同时覆盖窗口内 token。（Secs. 2.2、3.1，pp. 2–4）

将这个数据流写清楚：最近 $w$ 个位置保存在局部 KV 缓存中，由 SWA 精确计算；更早的位置进入 $\mathbf S,\mathbf z$，由 LA 汇总读取；两支在输出空间加权相加。固定 $w,d,d'$ 时，推理随序列长度线性增长。增大 $w$ 或 $d'$ 都会增加实际计算与存储常数。

固定 $g=0.5$ 只保证输出公式前面的系数相同。两个分支的向量大小、承载的信息及其与后续网络的匹配程度，都可能不同；下游参数也可能学会主要利用其中一支。因此必须查看组件消融，不能凭 $g$ 判断功能已经均衡。

**教学推导：为什么固定混合与重叠会影响结果。** 假设远端分支也能精确计算 softmax，令局部窗口与远端 token 的指数分数之和分别为 $Z_{\rm near},Z_{\rm far}$，则全量 softmax 可以分解为

$$
\mathbf o_t^{\rm full}
=\alpha_t\mathbf o_t^{\rm near}
+(1-\alpha_t)\mathbf o_t^{\rm far},
\qquad
\alpha_t=\frac{Z_{\rm near}}{Z_{\rm near}+Z_{\rm far}}.
$$

通常 $\alpha_t\ne0.5$，而且依赖当前查询。若 LA 再覆盖全部历史，局部 token 又会通过两条路径进入输出。这个分解帮助理解作者对动态混合系数的建议；它不把 LA 近似误差消除，也不是原文的新定理。

### 2.4 迁移“权重”“纯 LA 输出”与“混合输出”有何不同

下面用统一符号整理 Sec. 3.4.1 描述的三种目标，公式是便于对照的重写。令 $A^{\rm soft}$ 为教师的注意力权重，$A^\phi$ 为归一化的 LA 权重，$O^{\rm soft}=A^{\rm soft}V$。求和范围沿有效的因果位置，并省略层、头、样本与平均系数。

**权重迁移**直接匹配“应该关注哪些位置”：

$$
\mathcal L_{\rm weights}
=-\sum_t\sum_{i\le t} A^{\rm soft}_{ti}\log A^\phi_{ti}.
$$

这是软标签交叉熵；对固定教师而言，与最小化相应 KL 散度有相同的优化方向。训练时显式比较 token 对的权重，LA 学生这一阶段也有二次代价。

**纯 LA 输出迁移**只要求 LA 自己逼近教师输出：

$$
\mathcal L_{\rm LA-out}
=\left\|O^{\rm soft}-O^{\rm LA}\right\|_F^2.
$$

**混合输出迁移**允许两支共同拟合：

$$
\mathcal L_{\rm hybrid-out}
=\left\|O^{\rm soft}
-\left[gO^{\rm SWA}+(1-g)O^{\rm LA}\right]\right\|_F^2.
$$

后两者的学生输出可以按线性算法计算，但全量 softmax 教师仍有二次配对计算。不能把“学生输出线性”理解成整个迁移过程都没有二次开销。（Sec. 3.4.1，p. 6）

这组三目标比较的关键是：**输出 MSE 本身并不必然失败，问题出现在混合目标允许局部分支替 LA 承担拟合任务。** 作者在仅迁移、不进行 LoRA 的情况下，也观察到混合目标学出的 LA 单独表现很弱；因此不能把失衡全部归因于第二阶段微调。

### 2.5 三种修正分别作用于何处

| 方法 | LA 的学习方式 | SWA 何时参与 | 设计意图 |
| --- | --- | --- | --- |
| 推理时混合 | 先做 LA 权重迁移；可选纯 LA LoRA | 推理时接入 | 避开混合训练中的捷径 |
| HedgeCATs | 第一阶段做 HedgeHog 风格权重迁移 | 第二阶段做混合 LoRA，强调早停 | 先让 LA 有独立能力，再短暂适配混合模型 |
| SSD | 在混合 LoRA 阶段改变 SWA 的可用性 | 按 epoch 调度丢弃概率及窗口大小 | 让训练反复经历无法依赖 SWA 的情形 |

推理时混合中的“zero-shot”指**无需额外的混合训练**，不代表完全不学习 $\phi$。HedgeCATs 也不是把两种方法的全部实现直接拼接，而是借用权重迁移和低秩微调这两个关键阶段。（Secs. 4.1–4.2，pp. 7–8）

SSD 的三个设置为：

| 设置 | SWA 丢弃概率 $p_k$ | 窗口 $w_k$ |
| --- | --- | --- |
| 调度 dropout | $0.9\to0.75\to0.5$，之后保持 0.5 | 固定 32 |
| 调度窗口 | 固定 0.5 | $4\to8\to16\to32\to64$ |
| 全固定 | 固定 0.5 | 固定 16 |

每个 epoch 使用对应的调度值，序列耗尽后保持最后一个值。例如第一组在第 1 个 epoch 丢弃 SWA 的概率是 90%，第 3–5 个 epoch 为 50%。论文没有充分说明随机掩码的粒度，以及保留/丢弃时是否重新缩放混合输出；因此实现时不能直接把常规 inverted dropout 的缩放当作已给定算法。（Sec. 4.3，p. 8）

## 三：实验——比较对象与分数应该怎样读

### 3.1 模型与预算

主要对象是 **Mistral-7B-Instruct-v0.1、Llama3-8B-Instruct、Llama3.1-8B-Instruct**。文中省略了结果表模型名的 “Instruct”，但并不是在报告对应的未指令微调基础模型。LoLCATs 诊断还单独使用官方 Llama3.1-8B 检查点及代码；其结果与作者自己的实现应区分。（Sec. 3.1–3.2，p. 4）

| 配置 | 原文设置 |
| --- | --- |
| 训练数据 | FineWeb-Edu，样本截断至 1,024 tokens |
| 每 epoch 预算 | 约 25M tokens，有效累计 batch size 64 |
| 迁移阶段 | 1 epoch；AdamW，学习率 $10^{-2}$ |
| LoRA 阶段 | 1–5 epochs；学习率 $10^{-4}$；reduce-on-plateau 调度 |
| LoRA 位置 | $W_q,W_k,W_v,W_o$ |
| LoRA 参数 | rank $r=8$，$\alpha=16$ |
| 默认混合设置 | $g=0.5$，窗口 64，LA 与 SWA 上下文不重叠 |

若先迁移 1 epoch，再 LoRA 1 或 5 epochs，对应约 50M 或 150M 的累计训练 token 处理量；这是依据原文每 epoch 预算的换算，并不代表不同方法的 GPU 时间相同。SSD 又改变了窗口，比较时需要同时看训练长度和结构设置。

### 3.2 指标与诊断对照

六个任务均采用 LM-Eval 零样本评估：PIQA（物理常识）、ARC-Easy/ARC-Challenge（科学问答）、HellaSwag（情境续写选择）、WinoGrande（指代消歧）、MMLU（多学科知识问答）。原文明确 ARC-Challenge 与 HellaSwag 使用 `acc_norm`，即按评估框架的长度归一化候选评分选择答案；其余按文中报告的 accuracy 口径。

表中 **AVG 是六项百分制准确率的等权平均**，并不是把所有测试样本合并计算准确率。**Rec. Perf 是转换模型 AVG 相对原模型 AVG 的百分比**。例如 $66.02/68.26\times100\%\approx96.72\%$；它不表示在 96.72% 的样本上与原模型输出一致，也没有扣除随机猜测分数。

组件诊断在训练好的模型上进行：完整混合、将 LA 输出置零的 SWA-only、移除 SWA 的 LA-only、仅对最初 8 个位置做 softmax 的 attention-sinks-only，以及将整个注意力输出置零。后者仍保留残差路径、MLP 等网络部件，因此其 AVG 不能简单当作六任务共同的随机水平。（Sec. 3.2，pp. 4–5）

下文用

$$
\Delta_{\rm LA}
=\mathrm{AVG}_{\rm hybrid}-\mathrm{AVG}_{\rm SWA-only}
$$

概括去掉 LA 的分数差，单位为**百分点**。这是本笔记为方便比较而定义的消融差值，不是原文正式指标。它测量特定已训练检查点对 LA 的功能依赖，不把两个分支的贡献线性分摊。

## 四：结果——沿原文的消融与修正顺序解读

### 4.1 LoLCATs 混合模型的表现主要由谁承担？

| 模型 / 实现 | 原模型 | 混合 | SWA-only | LA-only | 无注意力 | $\Delta_{\rm LA}$ |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| Mistral-7B，作者实现 | 68.26 | 65.48 | 65.56 | 34.78 | 34.40 | −0.08 |
| Llama3-8B，作者实现 | 71.32 | 67.55 | 66.08 | 33.55 | 34.17 | +1.47 |
| Llama3.1-8B，官方 LoLCATs 检查点 | 73.01 | 71.08 | 71.45 | 33.96 | 33.93 | −0.37 |

来源：Table 1，p. 5；准确率单位为 %，差值由表中 AVG 相减。

Mistral 和官方 Llama3.1 检查点去掉 LA 后分数略升；Llama3 则保留 1.47 个百分点的增益，因此原文“完全依赖 SWA”的表述对所有模型并非同样严格。共同现象是：**只保留 LA 都接近无注意力，SWA-only 则保留了混合模型的大部分表现。** Mistral 和 Llama3 的 attention-sinks-only 分别为 35.21、34.85，也未接近完整混合模型。

这说明“混合准确率接近原模型”不足以证明已经把原模型的注意力能力迁移到了 LA。固定混合系数并没有阻止这种现象。

### 4.2 纯 LA 配合 LoRA 能否工作？

作者改用 HedgeHog 风格的权重迁移和方阵投影，再只用 LA 做 LoRA。结果如下。

| 模型 | 无注意力 | LA 权重迁移后 | +1 epoch 纯 LA LoRA | +2 epochs 纯 LA LoRA |
| --- | ---: | ---: | ---: | ---: |
| Mistral-7B | 34.40 | 46.94 | 50.66 | 50.75 |
| Llama3-8B | 34.17 | 34.59 | 35.65 | 36.05 |
| Llama3.1-8B，作者实现 | 34.11 | 34.82 | 38.98 | 39.36 |

来源：Sec. 3.3，Fig. 1，p. 5；Table 6，p. 15。

![原图 1：纯 LA 在迁移与微调各阶段的表现](figures/fig-01-la-only.png)

原图 1，PDF p. 5。横轴依次为权重迁移、1 epoch LoRA、2 epochs LoRA，纵轴为六任务 AVG；三面板对应三种模型，蓝线为 LA-only，红线为无注意力，紫线为原模型。

Mistral 的 LA 在迁移后就明显高于无注意力，LoRA 进一步提升约 3.8 个百分点。这排除了“低秩微调必然无法支持 LA”的解释。但 Llama3 的提升很小，Llama3.1 也仍远低于其原模型。该实验说明 LA 的可转换性依赖模型，不能将 Mistral 的成功直接推广到整个模型家族。

### 4.3 迁移目标、容量、激活函数分别贡献多少？

**迁移目标最直接地改变 LA 是否学到有用映射。** 下表只评估迁移后的 LA，尚未做 LoRA；因此没有第二阶段共享权重调整的干扰。

| Mistral-7B 的迁移目标 | 大映射：$d'=2h_d$ | 小映射：$d'=h_d$ |
| --- | ---: | ---: |
| 权重交叉熵 | 46.94 | 43.25 |
| 纯 LA 输出 MSE | 47.23 | 42.60 |
| 混合输出 MSE | 35.41 | 34.59 |
| 无注意力 | 34.40 | 34.40 |

来源：Sec. 3.4.1–3.4.2，Tables 2–3，p. 6。

大映射下，纯 LA 输出迁移比混合输出迁移高 **11.82 个百分点**；权重迁移高 **11.53 个百分点**。容量减半后，权重迁移下降 3.69 个百分点，纯输出迁移下降 4.63 个百分点。混合目标在两种容量下都接近无注意力，所以单纯增加特征数量没有解决其核心问题。

附录 Table 7（p. 15）提供了跨模型补充：Llama3 的权重迁移、纯 LA 输出迁移、混合输出迁移分别为 **34.59、38.22、33.86**；Llama3.1 分别为 **34.82、35.45、33.87**。纯输出目标在两个 Llama 上都略好于权重目标，尤其是 Llama3，但总体恢复仍有限。这也表明本文提出 HedgeCATs，并不等于证明权重迁移在所有设置都优于纯输出迁移。

**激活函数方面，指数家族更适合当前迁移设置。** Mistral、大映射、1 epoch 权重迁移、无 LoRA 的 AVG 为：

| 激活 | Softmax | Exp | ReLU | $1+\mathrm{ELU}$ | 无激活 |
| --- | ---: | ---: | ---: | ---: | ---: |
| AVG | 46.94 | 46.11 | 36.07 | 35.12 | 34.81 |

来源：Sec. 3.4.3，Table 4，p. 7；无注意力为 34.40。Softmax 与 Exp 接近，其余选项提升有限。这是特定权重迁移协议下的比较，并不能直接作为完整训练的 ReLU 型线性模型之间的排名。

### 4.4 推理时才加入 SWA：简单，但已有可观察的互补性

先看只做权重迁移、没有 LoRA 的检查点：

| 模型 | LA-only | 不重叠混合 | 重叠混合 | SWA-only | $\Delta_{\rm LA}$ |
| --- | ---: | ---: | ---: | ---: | ---: |
| Mistral-7B | 46.94 | 66.02 | 63.34 | 61.66 | +4.36 |
| Llama3-8B | 34.59 | 67.91 | 51.41 | 61.83 | +6.08 |
| Llama3.1-8B | 34.82 | 68.71 | 56.04 | 62.57 | +6.14 |

来源：Sec. 4.1，Fig. 2，p. 8；Table 8，p. 16。

![原图 2：在不同转换阶段加入 SWA](figures/fig-02-inference-hybrid.png)

原图 2，PDF p. 8。横轴是纯 LA 转换的三个阶段，纵轴为 AVG。蓝色不重叠混合线应与绿色 SWA-only、橙色重叠混合线比较；红线是纯 LA。这里的 SWA-only 来自这一组检查点，与前面经过混合 LoRA 的 SWA-only 不是同一个训练状态。

一个值得注意的现象是：Llama 的纯 LA 分数虽然低，但与 SWA 配合后，仍明显优于单独 SWA。**组件的独立能力和组件的互补价值并不相同。** 逐任务上，Llama3 的 HellaSwag 从 SWA-only 的 44.48 提升至混合的 71.71，增加 27.23 个百分点；MMLU 从 43.31 提升至 49.22。增益并不是六项任务均匀增加。

不重叠混合在三个模型上的恢复率，原表分别为 **96.72%、95.21%、94.11%**。因此，Llama3.1 的这一设置并未恢复到 95%。同时，固定 $g=0.5$ 时让上下文重叠明显变差，尤其是 Llama。作者将其归因于固定混合不适应重叠信息，并提出动态混合的可能改进；这部分是解释与后续方向，未在本文直接验证。

**关于微调趋势的原文差异。** Sec. 4.1 说不微调取得最佳推理混合效果。Table 8 对 Mistral 支持这一点：66.02→65.48→64.99；但其列出的 Llama3 为 67.91→67.91→68.40，Llama3.1 为 68.71→68.78→68.16，并不支持一个跨模型一致结论。Table 8 中 Llama3 的第 1 epoch 混合/SWA 行还重复了未微调的逐任务数值，却写了不同恢复率；第 2 epoch 的 68.40/71.32 约为 95.91%，也不对应表列 95.27%。因此这里采用 AVG 解释主要差异，不依据这些恢复率判断细小训练趋势。

### 4.5 HedgeCATs：早停能缓和再次向 SWA 倾斜

HedgeCATs 先用权重迁移建立 LA，再进行混合 LoRA。下表记录同一阶段完整模型与 SWA-only 的平均分。

| 模型 | LoRA epochs | 混合 | SWA-only | $\Delta_{\rm LA}$ |
| --- | ---: | ---: | ---: | ---: |
| Mistral-7B | 1 | 65.85 | 65.09 | +0.76 |
| Mistral-7B | 2 | 65.60 | 65.01 | +0.59 |
| Mistral-7B | 5 | 65.34 | 64.90 | +0.44 |
| Llama3-8B | 1 | 68.99 | 66.02 | +2.97 |
| Llama3-8B | 2 | 68.39 | 66.29 | +2.10 |
| Llama3-8B | 5 | 68.09 | 66.37 | +1.72 |

来源：Sec. 4.2，Fig. 3，p. 8；Table 9，p. 17。

![原图 3：HedgeCATs 随混合微调轮数的变化](figures/fig-03-hedgecats.png)

原图 3，PDF p. 8。横轴为 1、2、5 个 LoRA epochs，纵轴为 AVG。蓝线是完整混合，橙线是 SWA-only，紫色虚线表示原模型。应同时看蓝线高度与蓝橙之间的差距。

两个模型的最佳混合准确率都出现在这组实验最短的 1 epoch。Llama3 的 SWA-only 随训练上升，而完整模型下降；Mistral 则两者都下降。两种情况下 LA 的消融差值都逐渐缩小。因而，权重迁移建立了一个较好的起点，但不能保证后续混合微调一直维持分支互补；早停是该方法的重要组成部分。

1 epoch 的 Mistral 与 Llama3，原表恢复率分别为 96.47% 和 96.72%。Mistral 的消融差值只有 0.76 个百分点，也说明“高恢复率”与“明显依赖 LA”可以是不同强度的结论。

### 4.6 SSD：丢弃 SWA 有效，逐步扩大窗口并非必然有效

先看效果较稳定的 $p:0.9\to0.75\to0.5$、固定 $w=32$ 设置：

| 模型 | LoRA epochs | 混合 | SWA-only | $\Delta_{\rm LA}$ |
| --- | ---: | ---: | ---: | ---: |
| Mistral-7B | 1 | 66.15 | 62.39 | +3.76 |
| Mistral-7B | 2 | 66.14 | 62.57 | +3.57 |
| Mistral-7B | 5 | 66.30 | 64.04 | +2.26 |
| Llama3-8B | 1 | 68.12 | 62.65 | +5.47 |
| Llama3-8B | 2 | 68.29 | 63.27 | +5.02 |
| Llama3-8B | 5 | 68.58 | 64.65 | +3.93 |

来源：Sec. 4.3，Fig. 4a，p. 9；Table 10，p. 17。

![原图 4a：固定窗口 32，调度 SWA 丢弃概率](figures/fig-04a-ssd-dropout.png)

原图 4a，PDF p. 9。横轴为 LoRA epochs，纵轴为 AVG；蓝、橙、绿分别是不重叠混合、重叠混合、SWA-only。混合模型保持较高分数，并持续高于 SWA-only。Mistral 的 1→2 epochs 有 0.01 的微小下降，因而原文“稳定提高”更适合理解为总体稳定或略升。

SSD 的训练干预保留了更大的分支消融差值，但该差值仍随训练缩小。以 5 epochs 为例，Llama3 的 HellaSwag 从 SWA-only 的 56.11 提升到 72.84，MMLU 从 46.16 提升到 50.97；WinoGrande 则同为 72.61。这说明当前收益仍主要集中于部分任务。

三个 SSD 设置的完整混合 AVG 对比如下，覆盖原文的全部调度组：

| dropout / 窗口 | Mistral：1→2→5 epochs | Llama3：1→2→5 epochs |
| --- | --- | --- |
| $0.9\to0.75\to0.5$ / 固定 32 | 66.15→66.14→66.30 | 68.12→68.29→68.58 |
| 固定 0.5 / 固定 16 | 64.34→65.99→64.97 | 68.18→68.03→68.45 |
| 固定 0.5 / $4\to8\to16\to32\to64$ | 64.03→62.43→61.42 | 67.85→67.51→67.45 |

来源：Tables 10–12，pp. 17–18；Fig. 4a–c，p. 9。

![原图 4b：固定丢弃概率 0.5，逐步扩大窗口](figures/fig-04b-ssd-window.png)

原图 4b，PDF p. 9。逐步扩大窗口的 Mistral 混合准确率从 64.03 降至 61.42；Llama3 也小幅下降。这与正文关于该组 Llama “后期略有恢复”的描述不一致，图与 Table 12 均显示下降。可支持的结论是：**单纯把窗口从小变大，没有在该设置下改善转换。**

![原图 4c：固定丢弃概率 0.5 与窗口 16](figures/fig-04c-ssd-fixed.png)

原图 4c，PDF p. 9。固定设置下，Mistral 在 2 epochs 达到最高点；Llama3 在 5 epochs 略高。固定 dropout 已有较好效果，但由于三组同时改变了窗口与 dropout 配置，不能把第一组相对第三组的差异全部归因于“使用了调度”。

### 4.7 综合比较：准确率、LA 消融差值与预算是不同维度

以下选择各方法有代表性的设置，避免将不同轮数混成一个统一排名。数值写为“完整混合 AVG / $\Delta_{\rm LA}$”。

| 方法与设置 | Mistral-7B | Llama3-8B | 比较条件 |
| --- | --- | --- | --- |
| LoLCATs 风格诊断检查点 | 65.48 / −0.08 | 67.55 / +1.47 | 默认窗口 64，Table 1 |
| 只迁移，推理时接 SWA | 66.02 / +4.36 | 67.91 / +6.08 | 无 LoRA，窗口 64，Table 8 |
| HedgeCATs，1 epoch LoRA | 65.85 / +0.76 | 68.99 / +2.97 | 窗口 64，Table 9 |
| SSD，5 epochs LoRA | 66.30 / +2.26 | 68.58 / +3.93 | dropout 调度，窗口 32，Table 10 |

推理时混合的训练最简单，消融差值也大；HedgeCATs 在这组选定的 Llama3 设置中准确率最高；SSD 在更长微调后保留较高准确率与正的消融差值。没有一个方案在这几个维度上同时占优。

SSD 的 5-epoch 结果按表列 AVG 换算，Mistral 恢复率约为 **97.13%**，Llama3 约为 **96.16%**；后者与 Table 10 的 95.97% 不符，因此这里明确按 AVG 重算。更重要的是，96% 左右的平均恢复仍可隐藏任务差距：Llama3 的 MMLU 为 50.97，而原模型为 63.85，相差 12.88 个百分点；ARC-Challenge 为 56.23，已接近原模型 56.66。

## 五：结论——贡献与实际取舍

本文的主要贡献是把混合转换的评估对象从“整个模型是否高分”推进到“新组件是否承担了有用功能”。Table 1 的关闭分支实验建立了问题，迁移目标消融把问题进一步定位到训练设计，三种修正则展示了如何在较小转换预算下恢复分支互补。

机制上的启发是：让一个尚未训练好的模块与强模块共同拟合输出，可能使弱模块缺乏独立学习的压力。先单独训练、限制联合微调时长、在训练中暂时关闭强分支，是本文探索的三种处理方式。其中，纯 LA 输出 MSE 也能优于权重迁移，说明重要的不只是损失名称，而是目标是否要求 LA 自己完成拟合。

以下几个具体边界会改变这篇论文的使用方式：

- **组件“有贡献”仍弱于完整的长程记忆结论。** 修正方法主要报告混合与 SWA-only 的差异；SSD 没有同等完整地展示 LA-only 诊断，也没有长上下文检索实验。分支增益可以作为继续验证远程信息利用的依据，但尚未给出记忆容量随长度变化的曲线。
- **“各方法恢复超过 95%”应对应具体有效设置。** Llama3.1 的推理混合约为 94%；窗口调度 SSD 的 Mistral 在 5 epochs 只有 61.42，约为原模型的 90%。正文的概括不能覆盖所有表格行。
- **渐近效率与测得的系统收益需要分开。** 固定窗口与固定状态支持线性推理复杂度；本文没有报告延迟、吞吐或峰值显存对照，权重迁移阶段还有二次成本。
- **尚不足以写出唯一确定的 SSD 复现实现。** 随机掩码粒度、分支缩放等细节会影响训练。对于动态混合、门控记忆和分块压缩，Sec. 5 给出的是后续方向；它们没有成为本文实验的既定成果。

对后续研究，最直接的延伸是把相同检查点的分支消融，与需要明确远程信息的任务、按距离分组的检索准确率以及实际推理成本一起报告。这样才能继续回答：LA 的新增贡献来自哪里，以及这种贡献是否值得它占用的状态和计算预算。