# HypeNet 与 HALO：混合线性注意力的高效蒸馏和长度泛化

**论文题名**：Hybrid Linear Attention Done Right: Efficient Distillation and Effective Architectures for Extremely Long Contexts  
**作者**：Yingfa Chen、Zhen Leng Thai、Zihan Zhou、Zhu Zhang、Xingyu Shen、Shuo Wang、Chaojun Xiao、Xu Han、Zhiyuan Liu；前两位共同一作。  
**论文版本**：arXiv:2601.22156v1，提交于 2026-01-29。**获取与研读日期**：2026-10-15。  
**原文**：[arXiv](https://arxiv.org/abs/2601.22156v1) · [本地 PDF](../source/paper.pdf) · [作者给出的代码仓库](https://github.com/THUNLP/hybrid-linear-attention)  
**配套汇报**：[英文幻灯片 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex)。下文页码均为从 1 开始的 PDF 页码，与该版本印刷页码一致。

## 论文总览

这篇论文研究如何用较低的追加训练成本，把已有 Transformer 转换为长上下文更高效的混合模型，同时保住需要访问远处原始信息的检索能力。作者把问题拆为两个相互配合的部分：**HALO 决定怎样转换、保留哪些全注意力层；HypeNet 决定转换后的层如何计算。**

HALO 先迁移 Q/K/V/O 投影，再逐层对齐循环层输出；依据单层替换造成的“召回损失相对于常识任务损失”选择少量全注意力层，随后进行端到端蒸馏和长上下文微调。三阶段训练数据合计约 2.3B tokens。HypeNet 的核心位置方案 HyPE 则让循环层使用 RoPE、全注意力层使用 NoPE，并在推理时给全注意力 logits 加随位置增长的缩放。

默认循环模块是带固定遗忘率的 Lightning Attention。其作用是用较稳定的局部时序表示补充少量全局检索层；QK 归一化、循环层 KV 头独立化和输出门共同完成转换后的适配。论文支持的是这套组合在所测条件下的效果，位置编码、循环动态和训练流程都参与了最终结果。

| 关键结果 | 数值与适用条件 | 原文位置 |
| --- | --- | --- |
| 低数据量转换 | Qwen3 转 HypeNet，约 320M + 1B + 1B 训练 tokens；另有选层推理开销 | Sec. 4；Tables 5、8，pp. 14–15 |
| 蒸馏模型的远距离检索 | HypeNet-2B 在 256K 的三个 NIAH 单项为 99.8%、86.2%、48.8% | Table 2，p. 7 |
| 从零训练的长度外推 | 约 500M 参数、20B tokens、4K 训练长度，在 256K 得到 93.5% NIAH | Sec. 6.3、Fig. 4，p. 7 |
| 长输入推理加速 | 512K、单 A800、batch 1：解码最高 3.0 倍、prefill 最高 3.4 倍，相对 Qwen3-1.7B | Sec. 6.6、Figs. 1、6，pp. 2、8–9 |

## 结构地图

| 原文章节 | 论证作用 | PDF 定位 |
| --- | --- | --- |
| 1 Introduction | 低成本转换与长上下文表现的双重缺口 | pp. 1–2，Fig. 1 |
| 2 Related Works | 混合架构、位置编码、跨架构蒸馏的已有路线 | pp. 2–3，Table 1 |
| 3 Preliminaries；3.1、3.2 | 统一计算形式；选层与位置编码为何重要 | pp. 3–4，Eqs. (1)–(6) |
| 4 HALO: An Efficient Pipeline to Distill Transformers into Hybrids | 参数迁移、对齐、选层、蒸馏、微调 | pp. 4–5，Fig. 2，Eqs. (7)–(10) |
| 5 HypeNet: An Effective Attention-RNN Hybrid Architecture | HyPE、logits 缩放、其他架构改动、循环模块 | pp. 5–6，Fig. 3，Eqs. (11)–(14) |
| 6.1 Experimental Setup；6.2 Main Results: Distilling from Qwen3 | 评测协议与主比较 | pp. 6–7，Table 2 |
| 6.3 HypeNet Ablations: Training From Scratch | 分析位置编码和循环模块 | pp. 7–8，Figs. 4–5 |
| 6.4 HALO Ablations: Architectural Modifications；6.5 HALO Ablations: Attention Layer Selection | 检查组件和选层策略 | p. 8，Tables 3–4 |
| 6.6 Efficiency Results；7 Conclusion；Limitations | 运行效率、结论和后训练能力限制 | pp. 8–9，Fig. 6 |
| A Complete Formulation of HypeNet；B HALO Training Configurations | 完整前向计算与三阶段配置 | pp. 13–14，Eqs. (15)–(19)，Table 5 |
| C HypeNet Model Configurations；D Addition Notes on the Model Architecture | 模型配置、具体层号、短卷积取舍 | pp. 14–15，Tables 6–7 |
| E Computational Cost of Each Stage；E.1、E.2 | 成本、循环内核速度、详细评测 | pp. 15–16，Table 8，Fig. 7 |
| F More Experimental Results；F.1、F.1.1 | 缩放和训练超参数消融 | pp. 16–17，Fig. 8，Table 9 |
| G Which RNN Mixers are Compatible with HypeNet?；G.1、G.2 | 接口兼容性、Mamba2 改动、KDA 失败案例 | pp. 17–18，Tables 10–11 |
| H Training and Model Configurations for Training From Scratch Experiments | 从零训练的独立协议 | pp. 18–20，Tables 12–15 |

## 一：动机——让低成本转换真正服务于长上下文

### 1.1 为何保留一部分全注意力

全注意力保留逐 token 的 K/V，因此可以直接访问远处的特定信息；其 prefill 注意力计算随长度平方增长，解码还要不断读取增长中的 KV cache。循环层把历史压入固定大小状态，降低长输入处理与缓存成本，但细节容易在压缩和遗忘中丢失。

混合架构通过深度上的分工取得折中：较多循环层负责表示变换与局部上下文，少量全注意力层负责需要精确访问历史的计算。转换已有模型时，难点在于哪些教师层的检索功能最难被固定状态替代，以及如何让新旧模块重新协同。（Sec. 1、3.1，pp. 1–4）

### 1.2 “常识分数接近”还不足以判断转换成功

已有转换方法通常用短上下文下游任务衡量知识保留。本文关心的现象是：模型在这些任务上看起来恢复了能力，长距离检索却可能已经失效。Table 4 中纯 RNN 的 RADLADS 行 CSR 为 56.0，略高于 HALO 的 55.9；但前者 NIAH 从 8K 的 64.1 降至 32K 的 2.0，64K 起为 0。这使选层目标必须显式考虑召回。（p. 8）

另一障碍是实验成本。作者汇总的转换预算从 SMART 的大于 7B，到 Mamba-in-the-Llama、RAD 的 20B、KL-LS 的约 25B、Jet-Nemotron 的 400B 不等。HALO 的约 2.3B 是在已有教师模型基础上的追加训练量；不同工作使用的教师和架构不同，Table 1 是预算背景比较。（Table 1，p. 2）

## 二：方法——HALO 负责转换，HypeNet 负责计算

### 2.1 统一计算图与符号

每层包含一个 token mixer 和一个 MLP，采用预归一化与残差连接：

$$
\mathbf H^{(l)}
=\operatorname{Mixer}^{(l)}\!\left(\operatorname{Norm}
(\mathbf X^{(l-1)})\right)+\mathbf X^{(l-1)},
$$

$$
\mathbf X^{(l)}
=\operatorname{MLP}^{(l)}\!\left(\operatorname{Norm}
(\mathbf H^{(l)})\right)+\mathbf H^{(l)}.
$$

这里使用附录 A 的完整形式；正文 Eq. (1) 为简写。若 $l\in\mathcal I_{\mathrm{attn}}$，mixer 为全注意力，否则为循环模块。（Eqs. (15)–(16)，p. 13）

| 符号 | 含义与维度 |
| --- | --- |
| $T,L,d,d_h$ | 序列长度、层数、残差流宽度、单头宽度 |
| $\mathbf X\in\mathbb R^{T\times d}$ | 进入模块的 token 表示；单 token 用行向量 $\mathbf x_t$ |
| $\mathbf q_t,\mathbf k_t,\mathbf v_t\in\mathbb R^{1\times d_h}$ | 单头查询、键和值 |
| $\mathbf W_q,\mathbf W_k,\mathbf W_v,\mathbf W_o\in\mathbb R^{d\times d_h}$ | 单头投影；输出乘 $\mathbf W_o^\top$ |
| $\mathbf S_t\in\mathbb R^{d_h\times d_h}$ | 循环记忆矩阵 |
| $\mathcal I_{\mathrm{attn}}$ | 保留全注意力的层号集合 |
| $\gamma_h$ | 第 $h$ 个循环头的固定遗忘率 |
| $s_t,a$ | 推理时注意力 logits 的缩放及其对数底数 |

作者用如下形式串起多种现代循环模块：

$$
\mathbf S_t=\mathbf F_t\mathbf S_{t-1}+\mathbf k_t^\top\mathbf v_t,
\qquad
\mathbf y_t=\mathbf q_t\mathbf S_t\mathbf W_o^\top.
$$

外积写入为 $d_h\times d_h$，查询从矩阵中读出一个 $d_h$ 维向量。不同模块的主要差异是转移矩阵 $\mathbf F_t$、写入规则及门控。本文最终采用的是固定标量衰减版本，下面会给出其完整计算。（Eqs. (4)–(6)，p. 3；Appendix A）

### 2.2 HALO 的三个训练阶段

![图 2：不同转换流程与 HALO](figures/fig-02.png)

原文 Fig. 2，PDF p. 4。由左至右读：虚线框表示不训练的阶段，实线框表示训练阶段。HALO 在一次逐层对齐后用推理完成选层，再进入一次端到端蒸馏；图中 KL-LS 的循环包含反复训练。

**初始化。** 每个教师注意力层都建立一个候选循环层，迁移 Q/K/V/O 投影。无法由教师权重覆盖的门控等模块另行初始化。所有候选层都会先接受对齐训练，之后才决定哪些层真正替换。

**Stage 1：独立层输出对齐。** 对第 $l$ 层使用

$$
\mathcal L_{\mathrm{stage\,1}}^{(l)}
=\operatorname{MSE}\!\left(
\mathbf Y_{\mathrm{teacher}}^{(l)},
\operatorname{RNN}^{(l)}(\mathbf X^{(l-1)})
\right).
$$

两个模块面对相应的教师输入表示，目标是匹配注意力模块输出，而非让循环状态 $\mathbf S_t$ 等于某个教师内部状态。只训练候选循环层，教师及其他权重冻结。这样先缩小局部替换误差，再考察各层替换后的任务影响。（Sec. 4.1–4.2，Eq. (7)，p. 4）

**选层。** 将每个候选循环层分别放回原模型，得到只替换一层的 $M^{(i)}$，据其表现选择保留的全注意力层，具体规则见下一节。

**Stage 2：端到端知识蒸馏。** 组装混合模型后，优化教师输出分布到学生分布的 KL 散度：

$$
\mathcal L_{\mathrm{stage\,2}}
=D_{\mathrm{KL}}\!\left(
f_{\mathrm{orig}}(\mathbf X)\,\Vert\,f_{\mathrm{hybrid}}(\mathbf X)
\right).
$$

教师冻结，学生端到端训练。这一步处理多个替换叠加后的误差，以及新架构组件与原有 MLP、残差流的协同。保留的注意力层在此阶段开始移除 RoPE，并加入输出门。（Sec. 4.4、5.1–5.2，pp. 5–6）

**Stage 3：长上下文微调。** 将训练长度从 512 提至 16K，使用更低学习率再训练约 1B tokens。原文 Sec. 4.5 和 Table 5 给出了配置，但未明确写出该阶段损失函数，不能仅由“Finetuning”确定它继续使用 KL 还是改为其他目标。（pp. 5、14）

| 阶段 | 训练 tokens | 上下文长度 | batch | 步数 | 学习率 |
| --- | ---: | ---: | ---: | ---: | --- |
| Stage 1 | 320M | 512 | 32 | 20K | 余弦：$10^{-3}\to10^{-5}$ |
| Stage 2 | 1B | 512 | 96 | 20K | 余弦：$\eta_{\mathrm{stage2}}\to10^{-5}$ |
| Stage 3 | 1B | 16K | 128 | 500 | 常数 $10^{-5}$ |

来源：Table 5，p. 14；token 数为论文的近似预算。AdamW 的 $\beta=(0.9,0.95)$、无 weight decay，使用 BF16，各阶段 50 步线性 warmup。HypeNet-2B/5B/9B 的 Stage 2 最大学习率分别为 $10^{-4}$、$5\times10^{-5}$、$3\times10^{-5}$。

### 2.3 选层：寻找对召回特别重要的层

设 $\mathcal R(M)$ 是召回任务分数，$\mathcal C(M)$ 是常识推理（commonsense reasoning，CSR）分数，两者位于 $[0,1]$。为避免原式中最大值的哑变量与目标层混淆，可将 Eq. (8) 等价写成：

$$
R_{\max}=\max_j\mathcal R(M^{(j)}),\qquad
C_{\max}=\max_j\mathcal C(M^{(j)}),
$$

$$
s_i=
\frac{R_{\max}-\mathcal R(M^{(i)})}
{C_{\max}-\mathcal C(M^{(i)})+\epsilon},
\qquad
\epsilon=10^{-6}.
$$

然后保留得分最高的 $k=\lfloor L/4\rfloor$ 个注意力层。（Sec. 4.3，Eqs. (8)–(9)，p. 4）

分子越大，说明替换该层后召回受损越突出；分母越小，说明这次替换对 CSR 的影响相对较小。作者倾向保留“特别承担召回功能”的层，而不是只选择通用损失变化最大的层。这里的参照是各个单层替换模型中的最佳分数，**并非教师模型分数**。

一个教学例子：若 $R_{\max}=0.90,C_{\max}=0.60$，层 A 被替换后为 $(R,C)=(0.60,0.59)$，则 $s_A\approx30$；层 B 为 $(0.70,0.50)$，则 $s_B\approx2$。A 的召回更难由循环层承担，而 CSR 基本保住，因此更应保留其注意力。

这一比值是经验性排序。接近零的分母会放大评测波动，而独立单层替换也没有显式建模多层同时替换的相互作用；最终是否有效由固定预算的选层消融检验。

对于 Qwen3-1.7B，Table 7 给出的保留层按重要性排序为 $\{3,21,2,9,25,6,8\}$，使用 **0 起始编号**，即 28 层中保留 7 层。正文的 $l=1,\ldots,L$ 仅是数学记号，复现时应区分。（p. 15）

配置存在一个影响复现的原文矛盾：Table 6 把 2B 的 RNN/attention 层数写为 7/21，与正文和 Table 7 的 21/7 相反；5B、9B 两列的两类层数相加为 32，又与总层数 36 不符；Table 7 的 4B 教师对应行只框出 8 层，与 $\lfloor36/4\rfloor=9$ 不一致。因此可明确确认 2B 的 7/28 选层设置，但不宜直接照抄 Table 6 重建所有大模型。（Tables 6–7，pp. 14–15）

### 2.4 HyPE：把位置编码分配给局部和全局计算

| 位置方案 | 循环层 | 全注意力层 |
| --- | --- | --- |
| 常见混合配置 | NoPE | RoPE |
| 全部 NoPE | NoPE | NoPE |
| 全部 RoPE | RoPE | RoPE |
| **HyPE** | **RoPE** | **NoPE，推理时加动态 logits 缩放** |

HyPE（Hybrid Positional Encoding）的设计理由是：循环层具有受遗忘动态限制的有效感受野，适合表达局部顺序关系；全注意力层承担远处内容访问，移除显式旋转位置编码可减少超出训练长度时的位置外推障碍。（Sec. 5.1，p. 5）

NoPE 指注意力层不额外应用 RoPE，不表示该层输入没有顺序信息。其输入已经经过下层循环模块和残差路径，注意力也仍有因果约束。作者把“循环层局部、注意力层全局”作为设计解释；实际网络中的职责不是一个严格分离定理。

![图 3：HypeNet 的模块改动](figures/fig-03.png)

原文 Fig. 3，PDF p. 5。中间为网络堆叠，左边展开循环层，右边展开注意力层。红色虚线对应移除的组件，黑色虚线对应加入的组件：循环层保留/引入 RoPE，全注意力移除 RoPE 并缩放查询；另有 QK 归一化、循环头独立化和输出门。精确前向计算以附录 A 为准。

### 2.5 Lightning Attention 如何提供局部时序表示

按 Appendix A 的单头形式，先计算

$$
\mathbf q_t=\operatorname{Norm}(\mathbf x_t\mathbf W_q),\quad
\mathbf k_t=\operatorname{Norm}(\mathbf x_t\mathbf W_k),\quad
\mathbf v_t=\mathbf x_t\mathbf W_v,
$$

$$
\widetilde{\mathbf q}_t=\operatorname{RoPE}_t(\mathbf q_t),
\qquad
\widetilde{\mathbf k}_t=
\frac{\operatorname{RoPE}_t(\mathbf k_t)}{\sqrt{d_h}},
$$

$$
\mathbf S_t=\gamma_h\mathbf S_{t-1}
+\widetilde{\mathbf k}_t^\top\mathbf v_t,
\qquad
\mathbf o_t=\widetilde{\mathbf q}_t\mathbf S_t.
$$

最后经过输出归一化、逐元素门控和输出投影：

$$
\mathbf z_t=\operatorname{sigmoid}(\mathbf x_t\mathbf W_z),
\qquad
\mathbf y_t=
\bigl(\operatorname{Norm}(\mathbf o_t)\odot\mathbf z_t\bigr)
\mathbf W_o^\top.
$$

单头 $\mathbf W_z\in\mathbb R^{d\times d_h}$，$\mathbf z_t,\mathbf o_t\in\mathbb R^{1\times d_h}$。这里的 $1/\sqrt{d_h}$ 放在 key 上；它不产生 softmax，也不使各历史位置权重之和等于 1。（Eq. (18)，p. 13）

固定遗忘率为

$$
\gamma_h=\exp(-2^{-8h/H}),\qquad h=1,\ldots,H.
$$

它依赖头号，不依赖输入 token，且作者没有使用原 Lightning Attention 实现中的额外逐层缩放。（Eq. (19)，p. 14）

**教学推导：为什么这种循环层具有偏局部的直接记忆。** 取零初始状态，展开递推：

$$
\mathbf S_t=\sum_{i=1}^{t}\gamma_h^{t-i}
\widetilde{\mathbf k}_i^\top\mathbf v_i,
\qquad
\mathbf o_t=\sum_{i=1}^{t}\gamma_h^{t-i}
\bigl(\widetilde{\mathbf q}_t\widetilde{\mathbf k}_i^\top\bigr)\mathbf v_i.
$$

每条历史项的贡献由内容相似度、RoPE 的相对旋转和指数遗忘共同决定。定义衰减至 $1/e$ 的距离：

$$
\tau_h=\frac{1}{-\ln\gamma_h}=2^{8h/H}.
$$

最长时间尺度为 256 tokens；该头在相距 4096 tokens 时的衰减因子为 $e^{-16}\approx1.13\times10^{-7}$。这是单层直接状态路径的衰减尺度，不是整个网络的硬窗口。多层网络和全注意力仍能传递远处信息。这一推导使 HyPE 的职责分配更具体：循环层以稳定的局部相对结构处理顺序，全注意力保留远距离访问入口。

### 2.6 NoPE 注意力为什么还需要动态缩放

因果全注意力的单头输出可写为

$$
\mathbf o_t=\sum_{i=1}^{t}\alpha_{t,i}\mathbf v_i,\qquad
\alpha_{t,i}=
\frac{\exp(s_t\mathbf q_t\mathbf k_i^\top/\sqrt{d_h})}
{\sum_{j=1}^{t}\exp(s_t\mathbf q_t\mathbf k_j^\top/\sqrt{d_h})}.
$$

推理时使用

$$
s_t=\log_a(t+a)=\frac{\ln(t+a)}{\ln a}.
$$

底数 $a>1$ 在训练结束后通过一组预训练文档的 loss 选择。HypeNet-2B/5B/9B 分别为 500/600/900；从零训练的 Lightning 版本为 300，两个实验协议不可混用。（Eq. (11)、Table 6、Table 14，pp. 5、14、19）

上面的 softmax 分母对所有候选 key 使用同一个当前 query $\mathbf q_t$。原文附录 Eq. (17) 分母写成 $\widetilde{\mathbf q}_j\mathbf k_j^\top$，无法形成当前 query 的归一化权重；此处根据标准 softmax 和正文 Eq. (11) 修正了该下标错误。（p. 13）

随候选 token 数量增加，许多不相关项也会占据归一化分母。更大的 $s_t$ 等价于更低温度，可以放大相关项与干扰项的分数差。以 2B 的 $a=500$ 为例，$t=512$ 时 $s_t\approx1.11$，16K 时约 1.57，256K 时约 2.01。缩放可通过预先乘 query 实现，避免修改注意力算子。

一个简化教学模型能解释其动机：假设一个相关位置的未缩放 logit 比所有干扰项高 $\Delta$，共有 $n$ 个干扰项，则相关项概率为

$$
p=\frac{1}{1+n e^{-s\Delta}}.
$$

若要在 $n$ 增大时维持 $p$，需要 $s\Delta$ 随 $\ln n$ 增长。该推导解释对数缩放的方向；论文的 $a$ 仍由经验调节，并非从这个简化模型精确求得。

### 2.7 其他架构修改及其成本

| 改动 | 作用与发生阶段 | 主要取舍 |
| --- | --- | --- |
| 循环层 QK 归一化 | 在旋转、写入和查询前控制 Q/K 尺度；初始化候选循环层时配置 | 长上下文消融显示它非常重要 |
| 循环层 GQA 转 MHA | 将共享的 KV 投影复制成各头独立可训练的投影 | 增加参数与循环头容量；循环层不再维护逐 token KV cache |
| 循环层输出门 | 先归一化 mixer 输出，再用 sigmoid 门调节；Stage 1 前加入 | 增加门投影，改善大多数测试长度 |
| 注意力层输出门 | 在 Stage 2 开始加入，与移除注意力 RoPE 同时适配 | 平均表现较好，但不是每个长度都提升 |
| 不使用短卷积 | 转换与从零训练的主要实验都不使用 | 作者报告转换 1.7B 时加入短卷积未收敛，8B 未获收益 |

来源：Sec. 5.2，p. 6；Appendix D，p. 14。GQA 转 MHA 是复制初始化后让各头独立更新；保留的全注意力层仍可使用 GQA。若用 0 起始头号，复制关系是 $\mathbf W_\square^{(i)}\leftarrow\mathbf W_\square^{(\lfloor i/g\rfloor)}$；1 起始时应相应加减 1。

作者估计这些改动使参数量约增 10%，模型名称也由 Qwen3 的 1.7B/4B/8B 对应为 HypeNet 的 2B/5B/9B。节省的主要是长上下文中的 KV 和注意力计算，因此参数变多与推理变快可以同时发生。

### 2.8 循环接口可替换，但优化未必顺利

HypeNet 和 HALO 可以利用 Q/K/V/O 或等价外积状态形式，接入 Lightning、GLA、GDN、RWKV-7、Mamba2 等模块。作者为继承教师的多头权重，将 Mamba2 改为多头形式，而不是直接沿用所有头共享 Q/K 的通常配置。（Appendix G.1，pp. 17–18）

接口兼容还需要与实际优化区分：KDA 虽列在兼容模块中，作者按同一 HALO 配置转换时，Stage 2 数步后梯度范数变成无穷大，降低学习率也未解决。因此这套训练配方的成功证据集中在报告完成训练的模块，不能由 Table 10 的接口列表推断所有模块都已成功转换。（Appendix G.2，p. 18）

## 三：实验——两套训练协议、两类质量指标

### 3.1 蒸馏与从零训练回答不同问题

| 实验 | 主要对象与预算 | 要回答的问题 |
| --- | --- | --- |
| Qwen3 转换 | 教师 1.7B/4B/8B；学生 2B/5B/9B；约 2.3B 追加训练 tokens，最高训练长度 16K | 能否低成本转换，并保持质量与改善长输入效率？ |
| 受控架构预训练 | 约 500M 参数；20B tokens；4K 训练长度；28 层、7 层全注意力 | HyPE、循环模块的外推表现如何？ |

两者均使用 FineWeb-Edu。转换数据从其 10B 子集随机取样；从零训练使用 20B tokens、GPT-2 tokenizer、8 张 A800、AdamW、0.1 weight decay 和 WSD 调度。后者以“1 层 attention + 3 层 RNN”重复排列，无需执行 HALO 选层。（Sec. 6.1、6.3；Appendix H，pp. 6–7、18–20）

500M 对照包括普通 RoPE Transformer，以及以 21 个 512-token 滑窗注意力层加 7 个全注意力层组成的 SWAN-GPT。HypeNet 保留同样的 7 个全注意力层，另外 21 层采用循环模块。不同位置方案和不同循环模块分别比较。

循环模块消融仍保留各自的配置差异：Table 15 中 Lightning 与 GDN 使用 QK norm，GLA、RWKV7、Mamba2 未启用；GDN 另有 SiLU 与允许负特征值的设置；所有版本禁用短卷积。因此 Fig. 5 比较的是这些完整模块配置，不能把所有差异都单独归因于遗忘门是否依赖数据。（p. 20）

### 3.2 指标和 baseline 的角色

**CSR** 越高越好。作者用零样本 ARC-Easy、ARC-Challenge、HellaSwag、WinoGrande、PIQA、LAMBADA 和 MMLU 构成下游任务套件，并说明默认使用 normalized accuracy。这个集合同时涵盖常识、知识与语言建模相关能力，文中统称 CSR。（Appendix E.2，p. 16）

**NIAH** 越高越好。未注明单项时，正文定义为 RULER 中 NIAH-Single-1/2/3 三项准确率的平均。它衡量在干扰上下文中取回指定信息的能力；本文主要长上下文质量证据来自这类合成检索任务。（Sec. 6.1，p. 6）

**选层用的评测集合**与最终 CSR 套件不同：$\mathcal C$ 用 HellaSwag、ARC-Easy、ARC-Challenge 的 normalized accuracy；$\mathcal R$ 用 SQuAD、FDA、SWDE 的平均分。（p. 7）

**两类 baseline 比较需要分开读。** Table 2 比较已经发布的 Jet-Nemotron、KL-LS 混合模型与 HypeNet；Table 4 则保持 HALO 流程，替换其中的选层规则，未重跑 Jet-Nemotron 或 KL-LS 的完整训练过程。前者反映整套系统差异，后者更直接检验选层。（Sec. 6.2、6.5，pp. 7–8）

Qwen3 在超出默认 40,960-token 上下文时应用 YaRN。评测使用 LM-Evaluation-Harness 0.4.10.dev0、BF16。效率测量为单 NVIDIA A800、batch 1，软件为 PyTorch 2.9.1、CUDA 12.4、FlashAttention-2 2.8.3；Mamba2 使用官方 2.3.0 内核，其他循环模块使用 FLA 0.4.1。（Sec. 6.1；Appendix E.2）

## 四：结果——检索、外推与效率分别怎样改善

### 4.1 主结果：长距离单项检索改善，但仍有任务差异

下表保留 Table 2 中 128K 与 256K 的单项结果，单位为准确率百分比：

| 模型 | 转换 tokens | 长度 | Single-1 | Single-2 | Single-3 |
| --- | ---: | ---: | ---: | ---: | ---: |
| Qwen3-1.7B + YaRN | — | 128K | 96.4 | 24.8 | 14.8 |
| Jet-Nemotron-2B | 400B | 128K | 0.0 | 0.0 | 0.0 |
| KL-LS-GDN-3B | 25B | 128K | 68.4 | 28.2 | 24.8 |
| **HypeNet-2B + HALO** | **2.3B** | **128K** | **99.8** | **97.8** | **44.8** |
| Qwen3-1.7B + YaRN | — | 256K | 17.0 | 19.2 | 19.0 |
| Jet-Nemotron-2B | 400B | 256K | 0.0 | 0.0 | 0.0 |
| KL-LS-GDN-3B | 25B | 256K | 14.8 | 10.4 | 11.0 |
| **HypeNet-2B + HALO** | **2.3B** | **256K** | **99.8** | **86.2** | **48.8** |

来源：Table 2，p. 7。HypeNet 在 256K Single-1 相对教师提升 82.8 个百分点，Single-2 提升 67.0 个百分点，Single-3 提升 29.8 个百分点。最显著的收益是在很长输入时避免基线接近失效；Single-3 的 48.8% 同时表明检索能力仍有缺口。

短一些的长度也存在取舍。例如 64K Single-3，HypeNet 为 72.6，而教师为 98.4；因此“长上下文更好”主要体现在所展示的极长区间，而不是所有长度和子任务都压过教师。

**跨表数值不能直接合并。** Table 2 的 HypeNet 三项在 128K 的算术平均为 80.8，256K 为约 78.3；Table 4 却分别报告 79.9 和 74.3。教师在 128K 的 Table 2 均值约 45.3，而 Table 4 为 38.6。原文未解释这些差异。本文单项结果沿用 Table 2，下面的选层和架构比较沿用各自表格，不用一张表的均值替换另一张表。

### 4.2 从零训练：HyPE 的外推潜力更强

![图 4：位置编码与长度外推](figures/fig-04.png)

原文 Fig. 4，PDF p. 7。横轴为从 512 到 256K 的评测长度，纵轴为 NIAH 准确率；红色虚线表示 4K 训练长度。橙色实线为 HypeNet，橙色虚线分别对应全部 NoPE、全部 RoPE、循环 NoPE 加注意力 RoPE。

作者报告完整 HypeNet 在 256K，即训练长度的 64 倍，仍有 **93.5%** NIAH。普通 Transformer 和在全注意力中保留 RoPE 的两类混合变体较早下降；全部 NoPE 的变体在更长区间仍逐步下降。SWAN-GPT 能够外推一定距离，但图中表现低于完整 HypeNet。

这组证据支持两种位置机制配合的价值：仅移除所有 RoPE 不足以重现完整模型的效果，局部循环层中的旋转位置信息也有作用。93.5% 属于约 500M、20B tokens 的从零训练实验，与前节 Qwen3 蒸馏学生的分数属于不同设置。

![图 5：不同循环模块的长度泛化](figures/fig-05.png)

原文 Fig. 5，PDF p. 7。横纵轴与 Fig. 4 相同；不同曲线替换的是 HypeNet 的循环模块。在所测配置中，Lightning 版本明显最稳定；GLA、GDN 可保留部分长度外能力，Mamba2、RWKV7 在较长输入上降得更快。

作者提出的解释是：固定、与数据无关的遗忘率使 Lightning 的状态动态更稳定，而输入依赖的门可能面临长度分布变化。图中比较支持这一研究方向，但如第三部分所述，归一化等配置也同时不同，尚未把“固定门”单独隔离出来。（Sec. 6.3，pp. 7–8；Table 15，p. 20）

### 4.3 动态 logits 缩放是完整外推配方的重要部分

![图 8：不缩放、常数缩放和动态缩放](figures/fig-08.png)

原文 Fig. 8，PDF p. 17；对应 Appendix F.1。该图延续从零训练、4K 训练长度的设置：完整 HypeNet 使用 $s_t=\log_a(t+a)$，两个变体分别用 $s_t=1.5$ 和 $s_t=1$。

不缩放时，模型在超出训练长度后很快退化；常数 1.5 可把退化推迟到更长输入，但到 256K 也几乎失效；随位置增加的缩放仍维持高准确率。因此应把这里的结果理解为“HyPE 位置分工 + 适当循环动态 + 推理缩放”的共同结果。（pp. 16–17）

### 4.4 转换架构消融：QK norm 和全局 NoPE 的作用最突出

| Qwen3-1.7B 转换后的配置 | CSR ↑ | NIAH 32K ↑ | NIAH 128K ↑ |
| --- | ---: | ---: | ---: |
| 完整 HypeNet | 55.9 | 94.1 | 79.9 |
| 移除循环层 RoPE | 53.8 | 76.1 | 47.9 |
| 给全注意力加回 RoPE | 55.8 | 67.1 | 19.7 |
| 移除循环层 QK norm | 55.3 | 73.9 | 17.3 |
| 循环层继续使用共享 KV | 55.8 | 89.5 | 83.5 |
| 移除循环层输出门 | 55.6 | 84.9 | 74.5 |
| 移除注意力输出门 | 55.4 | 92.5 | 80.9 |

来源：Table 3，p. 8，所有分数为百分数。

加回全注意力 RoPE 后，CSR 仅下降 0.1 个百分点，128K NIAH 却下降 60.2 个百分点；移除循环 QK norm 后，CSR 仅下降 0.6，128K NIAH 下降 62.6。这再次说明短任务分数无法充分显示长度外行为。

循环层 RoPE 对短任务和长检索都有效：移除后 CSR 下降 2.1、128K NIAH 下降 32.0。输出门通常也有收益，但独立 KV 和注意力输出门并未在每个长度获胜：128K 下保留共享 KV 的 83.5 高于完整模型 79.9；移除注意力输出门的 80.9 也略高。这些组件应按总体权衡理解，不能把原文概括扩展为逐项必胜。

### 4.5 选层消融：相近 CSR 可以对应很不同的检索

| 方法 / 选层规则 | CSR ↑ | NIAH 64K ↑ | NIAH 128K ↑ | NIAH 256K ↑ |
| --- | ---: | ---: | ---: | ---: |
| Qwen3-1.7B 教师 | 58.5 | 99.5 | 38.6 | 18.4 |
| **HALO 选层** | **55.9** | **90.6** | **79.9** | **74.3** |
| HALO 中换用 Jet-Nemotron 选层 | 55.0 | 61.9 | 63.7 | 56.2 |
| HALO 中换用 KL-LS 选层 | 55.3 | 68.9 | 58.3 | 44.3 |
| 全网络均匀放置注意力 | 54.0 | 73.5 | 61.9 | 50.9 |
| 后半网络均匀放置注意力 | 55.8 | 41.2 | 39.2 | 40.4 |
| RADLADS，纯 RNN 参照 | 56.0 | 0.0 | 0.0 | 0.0 |

来源：Table 4，p. 8。最后一行为原表中的纯 RNN 参照，不是保持相同注意力预算的选层变体。

在相同 HALO 流程下，所提选层规则在 256K 比 Jet-Nemotron 选层高 18.1 个百分点，比 KL-LS 选层高 30.0。后半网络均匀放置的 CSR 为 55.8，与 HALO 的 55.9 极近，但 256K NIAH 低 33.9 个百分点；全注意力层的位置确实会影响长距离访问能力。

与教师相比，HALO 的 CSR 仍低 2.6 个百分点，因此“保持接近教师的性能”对应的是质量、内存和长上下文检索间的折中。（Sec. 6.5）

### 4.6 效率：减少全注意力层降低成本系数

![图 1：性能、内存、吞吐和解码耗时](figures/fig-01.png)

原文 Fig. 1，PDF p. 2。左图横轴为内存 GB，纵轴为任务性能；中图横轴为 tokens/s，纵轴同样为性能，两者在 128K、BF16 下比较。右图横轴为输入长度，纵轴为单个输出 token 耗时 ms。黑色为 Qwen3，橙色为 HypeNet。

图中 HypeNet 以较小内存和较高吞吐得到相近性能。模型大小不同的点显示总体权衡；正文最明确的速度数字是 1.7B 教师与 2B 学生在 512K 下约 **3.0 倍解码加速**。Qwen3 在 1M 长度上显存不足，而 HypeNet 的测量曲线延伸到 1M。

![图 6：prefill 耗时](figures/fig-06.png)

原文 Fig. 6，PDF p. 8。横轴为上下文长度，纵轴为每个输入 token 的 prefill 时间，单位是微秒，越低越好；这不同于 Fig. 1 右侧以毫秒计的输出 token 延迟。512K 下作者标注 **3.4 倍 prefill 加速**；256K 下为 2.9 倍。（Sec. 6.6，pp. 8–9）

这些都是单 A800、batch 1 的测量。能运行 1M 输入是内存与耗时证据，本文展示的检索表格和主要外推曲线最多到 256K。

**复杂度解释。** HypeNet 仍保留全注意力，因此整个模型的 prefill 渐近复杂度仍含二次项。仅看 mixer 主项，可粗略写成

$$
C_{\mathrm{prefill}}
=O(L_{\mathrm{attn}}T^2 H_{\mathrm{attn}}d_h)
+O(L_{\mathrm{RNN}}T H_{\mathrm{RNN}}d_h^2).
$$

其历史状态存储相应包含全注意力 KV 的 $O(L_{\mathrm{attn}}T H_{\mathrm{KV}}d_h)$ 和循环状态的 $O(L_{\mathrm{RNN}}H_{\mathrm{RNN}}d_h^2)$。这里省略投影、MLP 和常数因子。2B 版本把全注意力从 28 层减少到 7 层，显著压低二次计算与线性增长缓存的系数；整个混合模型没有成为常数历史存储的纯 RNN。

Appendix E.1 的 Fig. 7 还显示，所用 Lightning 内核在多个输入长度下明显快于其他循环内核，接近窗口 512 的滑窗注意力。这说明简单递推不仅有外推表现，也有实现效率优势；该图是模块级比较，不应当成另一个整模型加速比。（pp. 15–16）

### 4.7 训练配置消融与真实预算

Table 9 的 Stage 1 消融表明，独立对齐并非训练越久越好：

| Stage 1 tokens | CSR ↑ | NIAH 16K ↑ | NIAH 128K ↑ |
| --- | ---: | ---: | ---: |
| 100M | 55.2 | 80.9 | 79.9 |
| 320M | 55.4 | 88.2 | 80.9 |
| 625M | 55.4 | 90.0 | 75.6 |
| 1.3B | 55.1 | 81.0 | 61.2 |

从 320M 增到 1.3B，没有提高 CSR，128K 检索反而明显下降。单层局部匹配的预算需要以最终混合模型表现来选，而不是只追求更长对齐。（Appendix F.1.1，p. 17）

Stage 2 最大学习率为 $10^{-5}$ 时，CSR 为 46.9；用 $10^{-4}$ 时为 56.4；继续增到 $10^{-3}$ 时为 36.8。后者的 128K NIAH 却为 75.1，高于 $10^{-4}$ 配置的 68.7，说明选择超参数需要同时照顾通用能力与检索。Table 9 的参考行也不同于主表最终模型，原文未充分交代其余配置差别，因此这些数值应在各自消融组内部比较。

关于成本，Table 8 对 Qwen3-1.7B 转换报告 Stage 1/2/3 分别使用 **10.0、43.4、37.7 A800 GPU-hours**，合计 91.1。选层无需反向传播，但需对 28 个单层替换模型评测：每次任务集合约 8.36M tokens，合计约 **234M 推理 tokens**，其 GPU-hours 被标为 N/A。2.3B 因而是三阶段训练预算，91.1 是所列训练阶段工时，不覆盖未给出耗时的选层，也不表示包含所有超参数搜索。

Table 8 的 FLOPs 列存在算术口径不明：例如 Stage 2 的 $1\mathrm B$ tokens 乘 $4.15\mathrm B$ FLOPs/token 是 $4.15\times10^{18}$，表中总量却为 $8.3\times10^{18}$。这里保留作者的训练 token 和工时报告，不将其约 $2.5\times10^{19}$ 总 FLOPs 当成可直接复算的精确成本。（Appendix E，p. 15）

## 五：结论——最值得迁移的是功能分工和训练目标

这篇论文最有价值的贡献是把混合模型转换分成可操作的两层设计：HALO 以低预算完成局部适配与全局恢复，并通过任务敏感的选层保留检索入口；HypeNet 则把位置表示、循环遗忘和全注意力缩放组合起来，使模型在极长输入上保持更好的访问能力。

对模型设计有三点具体启发。第一，保留教师能力时，应把“通用预测能力”与“长距离信息访问”分别纳入选择标准。第二，循环模块可以主动承担局部时序处理，长距离精确访问由少量全注意力提供；这使简单、固定衰减的模块也可能成为有竞争力的选择。第三，长度外推涉及输入表示和 softmax 归一化行为，NoPE 与动态缩放需要一起评估。

实际使用时最重要的取舍是：2B 学生的 CSR 比教师低 2.6 个百分点，极长 Single-3 检索仍不充分；主要长上下文质量证据来自合成 NIAH，1M 的结果属于运行效率测量。作者还明确指出，FineWeb-Edu 上的转换可能削弱教师经过后训练得到的指令遵循与对齐行为，如何低成本恢复这些能力仍待解决。（Table 2、Table 4；Limitations，p. 9）

后续最直接的研究方向，是在真实长文档任务和指令模型上检验同样的功能分工，并在匹配归一化、参数预算和训练配置的条件下隔离固定遗忘率的贡献。本文已经给出了一个可负担的混合架构实验入口；它的优势应由质量、检索、实际延迟和追加训练成本共同判断。