混合线性注意力转换中的组件失衡：HedgeCATs 与 SSD 精读
论文：Untangling Component Imbalance in Hybrid Linear Attention Conversion Methods
作者：Martin Benfeghoul、Teresa Delgado、Adnan Oomerjee、Haitham Bou-Ammar、Jun Wang、Zafeirios Fountas；前两位为共同第一作者。
机构：Huawei Noah’s Ark Lab（London）、University College London。
版本：arXiv:2510.05901v2，2025-10-10 修订；本次获取与研读日期：2026-10-15。
原文：本地 PDF · arXiv PDF · 英文汇报幻灯片。下文页码均指从 1 开始的 PDF 页码，与本文印刷页码一致。
论文总览
论文追问一个容易被总体分数掩盖的问题：把预训练 Transformer 转成“线性注意力（Linear Attention，LA）+ 滑动窗口注意力（Sliding-Window Attention，SWA）”之后，线性分支究竟有没有提供有用的信息？
作者发现，用 LoLCATs 风格的混合输出迁移和微调获得较高准确率，并不意味着 LA 转换成功。对 Mistral-7B，完整混合模型的六任务平均准确率为 65.48，去掉 LA 后为 65.56；只留下 LA 则降到 34.78，接近关闭全部注意力的 34.40。在官方 LoLCATs 的 Llama3.1-8B 检查点上也观察到类似现象。这是论文最有说服力的结果：需要用组件消融来解释混合模型的分数。（Sec. 3.2，Table 1，p. 5）
接着，论文把原因指向让混合输出共同承担蒸馏目标，而不只是特征映射太小或 LoRA 参数太少。它提出三种干预：训练完 LA 后才在推理时接入 SWA；先做 LA 权重迁移、再短暂混合微调的 HedgeCATs；以及在微调时随机关闭 SWA 的 Scheduled Sliding-window Dropout（SSD）。这些方法的有效设置能让完整混合模型优于 SWA-only，同时保留较高平均准确率。论文中的“组件平衡”主要体现为 LA 对任务分数有可观察的增益，并不表示两支各贡献一半。
最值得带走的是一项评估原则：恢复总体性能和恢复目标组件的功能，是两个需要分别检验的问题。 本文的实证贡献集中在 7B–8B 指令模型转换与六项零样本任务；长上下文能力和实际吞吐收益并未在实验中直接测量。
结构地图
| 原文章节 | 在论证中的作用 | PDF 定位 |
|---|---|---|
| 1 Introduction | 转换动机与混合组件失衡问题 | pp. 1–2 |
| 2 Background & Related Works；2.1–2.4 | LA、混合输出、转换方法、结构化 dropout 背景 | pp. 2–3，Eq. (1)–(4) |
| 3.1 Experimental Set-up | 模型、特征映射、数据与训练配置 | p. 4 |
| 3.2 Ablation Study of LoLCATs Hybrid Attention Modules at Inference time | 用组件消融揭示 SWA 主导 | pp. 4–5，Table 1 |
| 3.3 Reverting Back to Linear Attention-only | 检查纯 LA 与 LoRA 的兼容性 | p. 5，Fig. 1 |
| 3.4 Component-Wise Investigation；3.4.1–3.4.3 | 分离迁移目标、映射维度、激活函数的影响 | pp. 6–7，Tables 2–4 |
| 4.1 Inference-Time Hybrid | 在推理时加入 SWA，比较上下文是否重叠 | pp. 7–8，Fig. 2 |
| 4.2 HedgeCATs: HedgeHog Transfer + LoLCATs fine-tuning | LA 权重迁移与短程混合 LoRA | pp. 7–8，Fig. 3 |
| 4.3 SSD: Scheduled Sliding-window Dropout | dropout 与窗口大小调度 | pp. 8–9，Fig. 4 |
| 5 Discussion & Conclusion | 贡献、动态混合与记忆容量等后续方向 | pp. 8–10 |
| A.1 Notation；A.2 Implementation Details；A.3 Extended Related Works | 运算符、初始化与方法对照 | p. 14，Table 5 |
| A.4 Further Results；A.4.1–A.4.5 | 纯 LA、迁移目标、推理混合、HedgeCATs、SSD 的逐任务结果 | pp. 15–18，Tables 6–12 |
一：动机——为什么高分的混合模型可能没有学好 LA
从零训练大型线性模型需要大量算力。后训练线性化（post-training linearisation）希望复用已有模型：把 softmax 注意力替换成可训练的核特征映射，再用少量数据迁移注意力、调整模型参数。SWA 保留局部 softmax 的精细选择能力，LA 用固定大小状态压缩较远历史，两者在功能上互补。（Secs. 1–2，pp. 1–3）
问题在于，局部 softmax 是一条已经与预训练权重相适应的路径，而新加入的 LA 需要重新学习。若训练损失和下游评估都只看最终输出，模型可能通过加强 SWA 就得到不错的分数。此时，系统在结构上包含 LA，任务行为却可能几乎不依赖它。
因此论文把问题拆成两层：首先，去掉某个分支是否会影响已训练模型的表现；其次，哪一种训练设计能让 LA 单独学习到有效映射，并在混合后仍有用。这里所谓评估缺陷，是仅报告混合模型总体分数而没有测量分支贡献。论文没有通过任务长度分布等额外分析，证明这些基准天然只能测局部信息。
二：方法——从核特征映射到防止分支失衡
2.1 LA 如何把历史压缩为固定大小状态
原文 Eq. (1) 的单头 softmax 注意力为
其中 $\mathbf Q,\mathbf K\in\mathbb R^{T\times d}$，$\mathbf V\in\mathbb R^{T\times d_v}$。自回归场景还需因果掩码。LA 以非负特征映射 $\phi:\mathbb R^d\to\mathbb R^{d'}$ 构造核 $\phi(\mathbf q)^\top\phi(\mathbf k)$，再利用结合律计算输出。原文 Eq. (2) 写的是对整段序列求和的形式；下面将其改写成用于讲解的因果形式：
| 符号 | 维度或含义 |
|---|---|
| $T$ | 序列长度 |
| $d=h_d$ | query/key 的单头维度 |
| $d_v$ | value 的单头维度 |
| $d'$ | 特征映射输出维度 |
| $\mathbf S_t$ | $d'\times d_v$ 的键值汇总状态 |
| $\mathbf z_t$ | $d'$ 维归一化状态 |
| $\mathbf o_t^{\rm LA}$ | $d_v$ 维输出 |
每个新 token 只需向 $\mathbf S_t$ 增加一个外积、向 $\mathbf z_t$ 增加一个向量。状态无需随历史长度增长。若特征映射是稠密投影，单步投影与读写状态约为 $O(dd'+d'd_v)$；当 $d_v$ 与 $d$ 同阶时，对应原文的整段时间 $O(Tdd')$ 和状态空间 $O(dd')$。（Sec. 2.1，Eq. (1)–(2)，p. 2）
这里的常数大小指递归状态。训练激活、模型权重以及局部 SWA 缓存还要单独计算。精确 softmax 的常规配对计算是二次的，但 Eq. (1) 并不要求所有实现都将整个分数矩阵常驻显存。
2.2 正负投影拼接与特征维度
原文 Eq. (4) 使用
$\oplus$ 表示拼接。直觉上，将一个方向及其相反方向分别编码，使非负映射也能响应两种符号的信息。HedgeHog 原方法使用指数激活；本文默认使用沿特征坐标归一化的 softmax，再对指数、ReLU、$1+\mathrm{ELU}$、无激活进行对照。此处 softmax 的归一化轴是特征维，不是历史 token 维，也不是 Transformer 中的 LayerNorm。（Sec. 2.3，p. 3；Sec. 3.4.3，p. 7）
维度比较要区分投影矩阵与最终特征：
| 配置 | $\mathbf W_\phi$ | 拼接后的 $d'$ |
|---|---|---|
| HedgeHog 风格的方阵投影 | $h_d\times h_d$ | $2h_d$ |
| LoLCATs 风格的矩形投影 | $h_d\times(h_d/2)$ | $h_d$ |
缩小投影会同时减少可训练参数和递归状态容量。本文在消融中分别控制这个变化，避免把迁移目标的效果与容量混为一谈。query/key 先应用 RoPE，再经过 $\phi$；附录说明投影采用单位映射加均值 0、标准差 0.1 的高斯噪声初始化，并固定生成器种子。（Sec. 3.1，p. 4；Sec. 3.4.2，p. 6；A.2.1，p. 14）
2.3 混合注意力：系数相等不代表功能贡献相等
原文 Eq. (3) 给出一般混合形式：
作者的简化实现取 $\mathbf a=\mathbf g$、$\mathbf b=\mathbf1-\mathbf g$，固定 $\mathbf g=\tfrac12\mathbf1$。默认 SWA 窗口为 64，LA 只处理窗口之外的历史。因此对一个查询，两支通常使用互不重叠的 token 集合；“Overlap”变体才让 LA 同时覆盖窗口内 token。（Secs. 2.2、3.1，pp. 2–4）
将这个数据流写清楚：最近 $w$ 个位置保存在局部 KV 缓存中，由 SWA 精确计算；更早的位置进入 $\mathbf S,\mathbf z$，由 LA 汇总读取；两支在输出空间加权相加。固定 $w,d,d'$ 时，推理随序列长度线性增长。增大 $w$ 或 $d'$ 都会增加实际计算与存储常数。
固定 $g=0.5$ 只保证输出公式前面的系数相同。两个分支的向量大小、承载的信息及其与后续网络的匹配程度，都可能不同；下游参数也可能学会主要利用其中一支。因此必须查看组件消融，不能凭 $g$ 判断功能已经均衡。
教学推导：为什么固定混合与重叠会影响结果。 假设远端分支也能精确计算 softmax，令局部窗口与远端 token 的指数分数之和分别为 $Z_{\rm near},Z_{\rm far}$，则全量 softmax 可以分解为
通常 $\alpha_t\ne0.5$，而且依赖当前查询。若 LA 再覆盖全部历史，局部 token 又会通过两条路径进入输出。这个分解帮助理解作者对动态混合系数的建议；它不把 LA 近似误差消除，也不是原文的新定理。
2.4 迁移“权重”“纯 LA 输出”与“混合输出”有何不同
下面用统一符号整理 Sec. 3.4.1 描述的三种目标，公式是便于对照的重写。令 $A^{\rm soft}$ 为教师的注意力权重，$A^\phi$ 为归一化的 LA 权重，$O^{\rm soft}=A^{\rm soft}V$。求和范围沿有效的因果位置，并省略层、头、样本与平均系数。
权重迁移直接匹配“应该关注哪些位置”：
这是软标签交叉熵；对固定教师而言，与最小化相应 KL 散度有相同的优化方向。训练时显式比较 token 对的权重，LA 学生这一阶段也有二次代价。
纯 LA 输出迁移只要求 LA 自己逼近教师输出：
混合输出迁移允许两支共同拟合：
后两者的学生输出可以按线性算法计算，但全量 softmax 教师仍有二次配对计算。不能把“学生输出线性”理解成整个迁移过程都没有二次开销。（Sec. 3.4.1，p. 6）
这组三目标比较的关键是：输出 MSE 本身并不必然失败，问题出现在混合目标允许局部分支替 LA 承担拟合任务。 作者在仅迁移、不进行 LoRA 的情况下，也观察到混合目标学出的 LA 单独表现很弱；因此不能把失衡全部归因于第二阶段微调。
2.5 三种修正分别作用于何处
| 方法 | LA 的学习方式 | SWA 何时参与 | 设计意图 |
|---|---|---|---|
| 推理时混合 | 先做 LA 权重迁移；可选纯 LA LoRA | 推理时接入 | 避开混合训练中的捷径 |
| HedgeCATs | 第一阶段做 HedgeHog 风格权重迁移 | 第二阶段做混合 LoRA，强调早停 | 先让 LA 有独立能力，再短暂适配混合模型 |
| SSD | 在混合 LoRA 阶段改变 SWA 的可用性 | 按 epoch 调度丢弃概率及窗口大小 | 让训练反复经历无法依赖 SWA 的情形 |
推理时混合中的“zero-shot”指无需额外的混合训练，不代表完全不学习 $\phi$。HedgeCATs 也不是把两种方法的全部实现直接拼接，而是借用权重迁移和低秩微调这两个关键阶段。（Secs. 4.1–4.2，pp. 7–8）
SSD 的三个设置为：
| 设置 | SWA 丢弃概率 $p_k$ | 窗口 $w_k$ |
|---|---|---|
| 调度 dropout | $0.9\to0.75\to0.5$，之后保持 0.5 | 固定 32 |
| 调度窗口 | 固定 0.5 | $4\to8\to16\to32\to64$ |
| 全固定 | 固定 0.5 | 固定 16 |
每个 epoch 使用对应的调度值，序列耗尽后保持最后一个值。例如第一组在第 1 个 epoch 丢弃 SWA 的概率是 90%，第 3–5 个 epoch 为 50%。论文没有充分说明随机掩码的粒度，以及保留/丢弃时是否重新缩放混合输出；因此实现时不能直接把常规 inverted dropout 的缩放当作已给定算法。（Sec. 4.3，p. 8）
三：实验——比较对象与分数应该怎样读
3.1 模型与预算
主要对象是 Mistral-7B-Instruct-v0.1、Llama3-8B-Instruct、Llama3.1-8B-Instruct。文中省略了结果表模型名的 “Instruct”，但并不是在报告对应的未指令微调基础模型。LoLCATs 诊断还单独使用官方 Llama3.1-8B 检查点及代码；其结果与作者自己的实现应区分。（Sec. 3.1–3.2，p. 4）
| 配置 | 原文设置 |
|---|---|
| 训练数据 | FineWeb-Edu，样本截断至 1,024 tokens |
| 每 epoch 预算 | 约 25M tokens，有效累计 batch size 64 |
| 迁移阶段 | 1 epoch；AdamW，学习率 $10^{-2}$ |
| LoRA 阶段 | 1–5 epochs；学习率 $10^{-4}$；reduce-on-plateau 调度 |
| LoRA 位置 | $W_q,W_k,W_v,W_o$ |
| LoRA 参数 | rank $r=8$，$\alpha=16$ |
| 默认混合设置 | $g=0.5$，窗口 64，LA 与 SWA 上下文不重叠 |
若先迁移 1 epoch，再 LoRA 1 或 5 epochs，对应约 50M 或 150M 的累计训练 token 处理量；这是依据原文每 epoch 预算的换算，并不代表不同方法的 GPU 时间相同。SSD 又改变了窗口，比较时需要同时看训练长度和结构设置。
3.2 指标与诊断对照
六个任务均采用 LM-Eval 零样本评估：PIQA（物理常识）、ARC-Easy/ARC-Challenge（科学问答）、HellaSwag（情境续写选择）、WinoGrande（指代消歧）、MMLU（多学科知识问答）。原文明确 ARC-Challenge 与 HellaSwag 使用 acc_norm，即按评估框架的长度归一化候选评分选择答案；其余按文中报告的 accuracy 口径。
表中 AVG 是六项百分制准确率的等权平均，并不是把所有测试样本合并计算准确率。Rec. Perf 是转换模型 AVG 相对原模型 AVG 的百分比。例如 $66.02/68.26\times100\%\approx96.72\%$；它不表示在 96.72% 的样本上与原模型输出一致，也没有扣除随机猜测分数。
组件诊断在训练好的模型上进行：完整混合、将 LA 输出置零的 SWA-only、移除 SWA 的 LA-only、仅对最初 8 个位置做 softmax 的 attention-sinks-only，以及将整个注意力输出置零。后者仍保留残差路径、MLP 等网络部件，因此其 AVG 不能简单当作六任务共同的随机水平。（Sec. 3.2，pp. 4–5）
下文用
概括去掉 LA 的分数差，单位为百分点。这是本笔记为方便比较而定义的消融差值，不是原文正式指标。它测量特定已训练检查点对 LA 的功能依赖，不把两个分支的贡献线性分摊。
四：结果——沿原文的消融与修正顺序解读
4.1 LoLCATs 混合模型的表现主要由谁承担？
| 模型 / 实现 | 原模型 | 混合 | SWA-only | LA-only | 无注意力 | $\Delta_{\rm LA}$ |
|---|---|---|---|---|---|---|
| Mistral-7B，作者实现 | 68.26 | 65.48 | 65.56 | 34.78 | 34.40 | −0.08 |
| Llama3-8B，作者实现 | 71.32 | 67.55 | 66.08 | 33.55 | 34.17 | +1.47 |
| Llama3.1-8B，官方 LoLCATs 检查点 | 73.01 | 71.08 | 71.45 | 33.96 | 33.93 | −0.37 |
来源：Table 1，p. 5；准确率单位为 %，差值由表中 AVG 相减。
Mistral 和官方 Llama3.1 检查点去掉 LA 后分数略升；Llama3 则保留 1.47 个百分点的增益，因此原文“完全依赖 SWA”的表述对所有模型并非同样严格。共同现象是：只保留 LA 都接近无注意力，SWA-only 则保留了混合模型的大部分表现。 Mistral 和 Llama3 的 attention-sinks-only 分别为 35.21、34.85，也未接近完整混合模型。
这说明“混合准确率接近原模型”不足以证明已经把原模型的注意力能力迁移到了 LA。固定混合系数并没有阻止这种现象。
4.2 纯 LA 配合 LoRA 能否工作？
作者改用 HedgeHog 风格的权重迁移和方阵投影，再只用 LA 做 LoRA。结果如下。
| 模型 | 无注意力 | LA 权重迁移后 | +1 epoch 纯 LA LoRA | +2 epochs 纯 LA LoRA |
|---|---|---|---|---|
| Mistral-7B | 34.40 | 46.94 | 50.66 | 50.75 |
| Llama3-8B | 34.17 | 34.59 | 35.65 | 36.05 |
| Llama3.1-8B，作者实现 | 34.11 | 34.82 | 38.98 | 39.36 |
来源：Sec. 3.3，Fig. 1，p. 5；Table 6，p. 15。
原图 1，PDF p. 5。横轴依次为权重迁移、1 epoch LoRA、2 epochs LoRA，纵轴为六任务 AVG；三面板对应三种模型，蓝线为 LA-only，红线为无注意力，紫线为原模型。
Mistral 的 LA 在迁移后就明显高于无注意力，LoRA 进一步提升约 3.8 个百分点。这排除了“低秩微调必然无法支持 LA”的解释。但 Llama3 的提升很小，Llama3.1 也仍远低于其原模型。该实验说明 LA 的可转换性依赖模型，不能将 Mistral 的成功直接推广到整个模型家族。
4.3 迁移目标、容量、激活函数分别贡献多少？
迁移目标最直接地改变 LA 是否学到有用映射。 下表只评估迁移后的 LA，尚未做 LoRA；因此没有第二阶段共享权重调整的干扰。
| Mistral-7B 的迁移目标 | 大映射：$d'=2h_d$ | 小映射：$d'=h_d$ |
|---|---|---|
| 权重交叉熵 | 46.94 | 43.25 |
| 纯 LA 输出 MSE | 47.23 | 42.60 |
| 混合输出 MSE | 35.41 | 34.59 |
| 无注意力 | 34.40 | 34.40 |
来源：Sec. 3.4.1–3.4.2，Tables 2–3，p. 6。
大映射下，纯 LA 输出迁移比混合输出迁移高 11.82 个百分点；权重迁移高 11.53 个百分点。容量减半后，权重迁移下降 3.69 个百分点，纯输出迁移下降 4.63 个百分点。混合目标在两种容量下都接近无注意力，所以单纯增加特征数量没有解决其核心问题。
附录 Table 7（p. 15）提供了跨模型补充：Llama3 的权重迁移、纯 LA 输出迁移、混合输出迁移分别为 34.59、38.22、33.86；Llama3.1 分别为 34.82、35.45、33.87。纯输出目标在两个 Llama 上都略好于权重目标，尤其是 Llama3，但总体恢复仍有限。这也表明本文提出 HedgeCATs，并不等于证明权重迁移在所有设置都优于纯输出迁移。
激活函数方面，指数家族更适合当前迁移设置。 Mistral、大映射、1 epoch 权重迁移、无 LoRA 的 AVG 为：
| 激活 | Softmax | Exp | ReLU | $1+\mathrm{ELU}$ | 无激活 |
|---|---|---|---|---|---|
| AVG | 46.94 | 46.11 | 36.07 | 35.12 | 34.81 |
来源：Sec. 3.4.3，Table 4，p. 7；无注意力为 34.40。Softmax 与 Exp 接近，其余选项提升有限。这是特定权重迁移协议下的比较，并不能直接作为完整训练的 ReLU 型线性模型之间的排名。
4.4 推理时才加入 SWA：简单，但已有可观察的互补性
先看只做权重迁移、没有 LoRA 的检查点：
| 模型 | LA-only | 不重叠混合 | 重叠混合 | SWA-only | $\Delta_{\rm LA}$ |
|---|---|---|---|---|---|
| Mistral-7B | 46.94 | 66.02 | 63.34 | 61.66 | +4.36 |
| Llama3-8B | 34.59 | 67.91 | 51.41 | 61.83 | +6.08 |
| Llama3.1-8B | 34.82 | 68.71 | 56.04 | 62.57 | +6.14 |
来源：Sec. 4.1，Fig. 2，p. 8；Table 8，p. 16。
原图 2，PDF p. 8。横轴是纯 LA 转换的三个阶段，纵轴为 AVG。蓝色不重叠混合线应与绿色 SWA-only、橙色重叠混合线比较；红线是纯 LA。这里的 SWA-only 来自这一组检查点，与前面经过混合 LoRA 的 SWA-only 不是同一个训练状态。
一个值得注意的现象是：Llama 的纯 LA 分数虽然低，但与 SWA 配合后，仍明显优于单独 SWA。组件的独立能力和组件的互补价值并不相同。 逐任务上，Llama3 的 HellaSwag 从 SWA-only 的 44.48 提升至混合的 71.71，增加 27.23 个百分点；MMLU 从 43.31 提升至 49.22。增益并不是六项任务均匀增加。
不重叠混合在三个模型上的恢复率，原表分别为 96.72%、95.21%、94.11%。因此，Llama3.1 的这一设置并未恢复到 95%。同时，固定 $g=0.5$ 时让上下文重叠明显变差，尤其是 Llama。作者将其归因于固定混合不适应重叠信息，并提出动态混合的可能改进；这部分是解释与后续方向，未在本文直接验证。
关于微调趋势的原文差异。 Sec. 4.1 说不微调取得最佳推理混合效果。Table 8 对 Mistral 支持这一点：66.02→65.48→64.99；但其列出的 Llama3 为 67.91→67.91→68.40，Llama3.1 为 68.71→68.78→68.16，并不支持一个跨模型一致结论。Table 8 中 Llama3 的第 1 epoch 混合/SWA 行还重复了未微调的逐任务数值，却写了不同恢复率；第 2 epoch 的 68.40/71.32 约为 95.91%，也不对应表列 95.27%。因此这里采用 AVG 解释主要差异，不依据这些恢复率判断细小训练趋势。
4.5 HedgeCATs：早停能缓和再次向 SWA 倾斜
HedgeCATs 先用权重迁移建立 LA，再进行混合 LoRA。下表记录同一阶段完整模型与 SWA-only 的平均分。
| 模型 | LoRA epochs | 混合 | SWA-only | $\Delta_{\rm LA}$ |
|---|---|---|---|---|
| Mistral-7B | 1 | 65.85 | 65.09 | +0.76 |
| Mistral-7B | 2 | 65.60 | 65.01 | +0.59 |
| Mistral-7B | 5 | 65.34 | 64.90 | +0.44 |
| Llama3-8B | 1 | 68.99 | 66.02 | +2.97 |
| Llama3-8B | 2 | 68.39 | 66.29 | +2.10 |
| Llama3-8B | 5 | 68.09 | 66.37 | +1.72 |
来源：Sec. 4.2，Fig. 3，p. 8；Table 9，p. 17。
原图 3，PDF p. 8。横轴为 1、2、5 个 LoRA epochs，纵轴为 AVG。蓝线是完整混合，橙线是 SWA-only，紫色虚线表示原模型。应同时看蓝线高度与蓝橙之间的差距。
两个模型的最佳混合准确率都出现在这组实验最短的 1 epoch。Llama3 的 SWA-only 随训练上升，而完整模型下降；Mistral 则两者都下降。两种情况下 LA 的消融差值都逐渐缩小。因而，权重迁移建立了一个较好的起点，但不能保证后续混合微调一直维持分支互补；早停是该方法的重要组成部分。
1 epoch 的 Mistral 与 Llama3，原表恢复率分别为 96.47% 和 96.72%。Mistral 的消融差值只有 0.76 个百分点，也说明“高恢复率”与“明显依赖 LA”可以是不同强度的结论。
4.6 SSD：丢弃 SWA 有效，逐步扩大窗口并非必然有效
先看效果较稳定的 $p:0.9\to0.75\to0.5$、固定 $w=32$ 设置：
| 模型 | LoRA epochs | 混合 | SWA-only | $\Delta_{\rm LA}$ |
|---|---|---|---|---|
| Mistral-7B | 1 | 66.15 | 62.39 | +3.76 |
| Mistral-7B | 2 | 66.14 | 62.57 | +3.57 |
| Mistral-7B | 5 | 66.30 | 64.04 | +2.26 |
| Llama3-8B | 1 | 68.12 | 62.65 | +5.47 |
| Llama3-8B | 2 | 68.29 | 63.27 | +5.02 |
| Llama3-8B | 5 | 68.58 | 64.65 | +3.93 |
来源：Sec. 4.3，Fig. 4a，p. 9；Table 10，p. 17。
原图 4a，PDF p. 9。横轴为 LoRA epochs，纵轴为 AVG；蓝、橙、绿分别是不重叠混合、重叠混合、SWA-only。混合模型保持较高分数，并持续高于 SWA-only。Mistral 的 1→2 epochs 有 0.01 的微小下降，因而原文“稳定提高”更适合理解为总体稳定或略升。
SSD 的训练干预保留了更大的分支消融差值，但该差值仍随训练缩小。以 5 epochs 为例，Llama3 的 HellaSwag 从 SWA-only 的 56.11 提升到 72.84，MMLU 从 46.16 提升到 50.97；WinoGrande 则同为 72.61。这说明当前收益仍主要集中于部分任务。
三个 SSD 设置的完整混合 AVG 对比如下，覆盖原文的全部调度组：
| dropout / 窗口 | Mistral：1→2→5 epochs | Llama3：1→2→5 epochs |
|---|---|---|
| $0.9\to0.75\to0.5$ / 固定 32 | 66.15→66.14→66.30 | 68.12→68.29→68.58 |
| 固定 0.5 / 固定 16 | 64.34→65.99→64.97 | 68.18→68.03→68.45 |
| 固定 0.5 / $4\to8\to16\to32\to64$ | 64.03→62.43→61.42 | 67.85→67.51→67.45 |
来源：Tables 10–12，pp. 17–18；Fig. 4a–c，p. 9。
原图 4b，PDF p. 9。逐步扩大窗口的 Mistral 混合准确率从 64.03 降至 61.42；Llama3 也小幅下降。这与正文关于该组 Llama “后期略有恢复”的描述不一致，图与 Table 12 均显示下降。可支持的结论是：单纯把窗口从小变大，没有在该设置下改善转换。
原图 4c，PDF p. 9。固定设置下，Mistral 在 2 epochs 达到最高点；Llama3 在 5 epochs 略高。固定 dropout 已有较好效果，但由于三组同时改变了窗口与 dropout 配置，不能把第一组相对第三组的差异全部归因于“使用了调度”。
4.7 综合比较：准确率、LA 消融差值与预算是不同维度
以下选择各方法有代表性的设置，避免将不同轮数混成一个统一排名。数值写为“完整混合 AVG / $\Delta_{\rm LA}$”。
| 方法与设置 | Mistral-7B | Llama3-8B | 比较条件 |
|---|---|---|---|
| LoLCATs 风格诊断检查点 | 65.48 / −0.08 | 67.55 / +1.47 | 默认窗口 64，Table 1 |
| 只迁移，推理时接 SWA | 66.02 / +4.36 | 67.91 / +6.08 | 无 LoRA，窗口 64，Table 8 |
| HedgeCATs，1 epoch LoRA | 65.85 / +0.76 | 68.99 / +2.97 | 窗口 64，Table 9 |
| SSD，5 epochs LoRA | 66.30 / +2.26 | 68.58 / +3.93 | dropout 调度，窗口 32，Table 10 |
推理时混合的训练最简单，消融差值也大；HedgeCATs 在这组选定的 Llama3 设置中准确率最高；SSD 在更长微调后保留较高准确率与正的消融差值。没有一个方案在这几个维度上同时占优。
SSD 的 5-epoch 结果按表列 AVG 换算，Mistral 恢复率约为 97.13%，Llama3 约为 96.16%；后者与 Table 10 的 95.97% 不符，因此这里明确按 AVG 重算。更重要的是，96% 左右的平均恢复仍可隐藏任务差距：Llama3 的 MMLU 为 50.97，而原模型为 63.85，相差 12.88 个百分点；ARC-Challenge 为 56.23，已接近原模型 56.66。
五：结论——贡献与实际取舍
本文的主要贡献是把混合转换的评估对象从“整个模型是否高分”推进到“新组件是否承担了有用功能”。Table 1 的关闭分支实验建立了问题，迁移目标消融把问题进一步定位到训练设计，三种修正则展示了如何在较小转换预算下恢复分支互补。
机制上的启发是：让一个尚未训练好的模块与强模块共同拟合输出，可能使弱模块缺乏独立学习的压力。先单独训练、限制联合微调时长、在训练中暂时关闭强分支，是本文探索的三种处理方式。其中，纯 LA 输出 MSE 也能优于权重迁移，说明重要的不只是损失名称，而是目标是否要求 LA 自己完成拟合。
以下几个具体边界会改变这篇论文的使用方式：
- 组件“有贡献”仍弱于完整的长程记忆结论。 修正方法主要报告混合与 SWA-only 的差异；SSD 没有同等完整地展示 LA-only 诊断，也没有长上下文检索实验。分支增益可以作为继续验证远程信息利用的依据，但尚未给出记忆容量随长度变化的曲线。
- “各方法恢复超过 95%”应对应具体有效设置。 Llama3.1 的推理混合约为 94%；窗口调度 SSD 的 Mistral 在 5 epochs 只有 61.42，约为原模型的 90%。正文的概括不能覆盖所有表格行。
- 渐近效率与测得的系统收益需要分开。 固定窗口与固定状态支持线性推理复杂度；本文没有报告延迟、吞吐或峰值显存对照，权重迁移阶段还有二次成本。
- 尚不足以写出唯一确定的 SSD 复现实现。 随机掩码粒度、分支缩放等细节会影响训练。对于动态混合、门控记忆和分块压缩，Sec. 5 给出的是后续方向；它们没有成为本文实验的既定成果。
对后续研究，最直接的延伸是把相同检查点的分支消融，与需要明确远程信息的任务、按距离分组的检索准确率以及实际推理成本一起报告。这样才能继续回答：LA 的新增贡献来自哪里，以及这种贡献是否值得它占用的状态和计算预算。