# Diffuser：用多跳注意力扩散建模长序列

**原论文**：Diffuser: Efficient Transformers with Multi-hop Attention Diffusion for Long Sequences  
**作者**：Aosong Feng、Irene Li、Yuang Jiang、Rex Ying（Yale University）  
**版本**：[arXiv:2210.11794v2](https://arxiv.org/abs/2210.11794v2)，2023-01-31 修订；首次提交于 2022-10-21  
**研读与获取日期**：2026-10-09  
**材料与成品**：[原文 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex) · [作者代码入口](https://github.com/asFeng/Diffuser)

## 论文总览

Diffuser 研究的问题是：**稀疏注意力已经减少了需要计算的 token 配对，能否在同一层里让信息沿这些边传播多次，从而补回被稀疏化削弱的长距离交互？**

它先计算一次稀疏注意力矩阵 $A$，再执行带重启的传播：

$$
Z_{(0)}=V,\qquad
Z_{(k+1)}=(1-\alpha)AZ_{(k)}+\alpha V.
$$

一层内的多次传播复用同一组边权，无需反复计算 query–key 相似度，也无需显式构造稠密的多跳注意力矩阵。局部窗口提供近邻结构，逐 token 选择的全局边和随机边缩短传播路径。论文通常取 $K=5$、$\alpha=0.1$。（方法部分，PDF pp. 3–4；表 S.10，p. 17。）

最有代表性的证据是：

- 五个文本分类数据集的平均 F1 为 **81.80**，比 Longformer 的 80.86 高 **0.94 个百分点**；给 Longformer 加扩散后达到 81.24，因此与这一增强对照的差距是 0.56 个百分点。
- LRA 五项任务中，Diffuser 在 ListOps、Retrieval、Image 上最好。原文报告平均 57.31、比 BigBird 高 2.30 个百分点；但按逐项分数计算，均值为 **57.156≈57.16**，对应提升 **2.144≈2.14 个百分点**。后文同时保留原报值和算术值。
- 消融中去掉扩散或局部连接损失最大，支持“稀疏结构与多跳传播配合”这一设计。
- 效率图显示低显存优势，也显示扩散的时间成本。作者报告相对 Performer 的 1.67 倍显存比；Linformer 的显存与 Diffuser 接近，且两者中 Linformer 更快。（表 S.3、S.6–S.7；图 S.4，PDF pp. 6–7。）

理解这篇论文要区分三个层次：**图上可达、传播权重的形式、对任务有用的信息**。两点之间存在多跳路径，可以产生非零的间接作用；这种作用由路径上边权相乘决定，和直接计算两点之间的全注意力权重有不同的归纳偏置。

## 结构地图

正文没有印出章节编号；下表使用原始标题。页码均按 PDF 从 1 开始计数，图、表、公式沿用该版本的 S.x 编号。

| 原文章节 | 在论证中的作用 | PDF 页码与关键证据 |
| --- | --- | --- |
| Introduction | 稀疏注意力的传播速度和输入扰动问题 | pp. 1–2；图 S.1 |
| Related Work | 稀疏/近似注意力与图扩散背景 | p. 2 |
| Diffuser: Multi-hop Attention with Diffusion | 稀疏边权、PPR 递推、三种边和层结构 | pp. 2–4；式 S.1–S.7；图 S.2–S.3 |
| Theoretical Expressive Power of Diffuser | 通用逼近、扩展图、谱近似与混合 | pp. 4–5；定理 1–3 |
| Experiments / Model Implementations | DGL 实现与资源开销 | pp. 5–6；图 S.4 |
| Experiments / Language Modeling | MLM、文本分类、问答 | pp. 6–7；表 S.2–S.4 |
| Experiments / Image Generative Modeling | 图像密度建模 | pp. 6–7；表 S.5 |
| Experiments / Long-Context Sequence Modeling | LRA 比较 | p. 7；表 S.6 |
| Experiments / Ablation Studies | 组件、扩散步数、重启率、边预算 | p. 7；表 S.7；图 S.5–S.6 |
| Conclusion | 汇总主要贡献 | pp. 7–8 |
| Appendix A / Attention Diffusion Analysis | 有限步展开与谱变换 | p. 11；命题 4–5；式 S.10 |
| Appendix B / Sparse Pattern Analysis | 稀疏度与图谱比较 | pp. 11–14；表 S.8；图 S.8–S.9 |
| Appendix C / Diffuser as Universal Approximators | 通用逼近的构造证明 | pp. 12–15；引理 6–8 |
| Appendix D / Diffuser as Expander Graphs | 谱近似、随机游走混合的证明 | pp. 16–17 |
| Appendix E / Dataset and Experiment Details | 数据集和训练配置 | pp. 17–18；表 S.9–S.12 |
| Appendix F / More Ablation Studies | 输入循环移位的鲁棒性 | pp. 18–19；图 S.11 |

## 一：动机——稀疏化省掉的边，也会延迟信息到达

标准自注意力通过 $QK^\top$ 为所有 token 配对打分；其交互计算随序列长度 $n$ 平方增长。稀疏注意力预先限定每个 query 可以读取哪些 key，从而减少配对数量。但如果关键依赖不在邻居集合中，一次聚合便读不到它。

在普通稀疏 Transformer 中，信息通常要经过多个网络层才能沿路径到达目的地。每增加一层，也增加了投影、前馈变换和参数。作者提出把一部分“传播距离”的工作移进一个注意力层：先计算邻接边的强度，再让 value 沿相同的边传播多轮。

![稀疏邻域与输入移位](figures/fig-s1-motivation.png)

图 S.1，PDF p. 1。上半部展示固定稀疏模式下的注意力位置，下半部比较一句话循环移位前后某个目标词的邻居。颜色区分传播一、二、三步可以达到的位置。这个例子的作用是说明：固定窗口的边界会改变信息路由，远处的否定或转折词可能需要多跳才能影响目标词。

全局 token 可以把图的直径缩短，但信息需要经过少数中间节点聚合。随机连接补充跨区域路径，局部连接保留语言邻近性。Diffuser 因而同时设计**连接模式**与**传播算子**，并通过消融检验两者的贡献。

在技术来源上，它沿用图学习中的个性化 PageRank（Personalized PageRank，PPR）传播思想；论文也明确讨论了 PPNP、GDC、MAGNA 等先前图扩散方法。贡献主要是将这一传播机制与长序列稀疏注意力、逐 token 的连接设计及任务评估结合起来。（Related Work，PDF p. 2。）

## 二：方法——稀疏边打分一次，在同一层传播多次

### 2.1 输入、符号与一跳注意力

以下先写一个注意力头。原文以 $X\in\mathbb R^{n\times d}$ 表示 token 表示，并写：

$$
Q=XW_Q,\qquad K=XW_K,\qquad V=XW_V.
$$

为便于检查维度，可以令 $Q,K\in\mathbb R^{n\times d}$、$V\in\mathbb R^{n\times d_v}$；多头版本分别计算后拼接，经 $W_O$ 投影。原文在多头推导中省略了部分维度下标，附录 C 还改用 token 按列排布的转置约定。

| 符号 | 含义 |
| --- | --- |
| $Ne(i)$ | query $i$ 允许读取的 key 集合，包含自身 |
| $A\in\mathbb R^{n\times n}$ | 按邻居归一化的稀疏注意力权重 |
| $\mathcal A$ | 理想的无限步扩散注意力算子 |
| $Z_{(k)}\in\mathbb R^{n\times d_v}$ | 传播 $k$ 步后的 value 表示 |
| $K$ | 总扩散步数；与 key 矩阵同字母，按上下文区分 |
| $\alpha$ | 回到原始 $V$ 的重启权重 |
| $w,g,r$ | 局部窗口大小、全局 token 数、每个 token 的随机连接预算 |
| $\lvert\mathcal E\rvert$ | 稀疏图中实际保留的有向边数 |

原文也把二元稀疏掩码叫作 $A$。这里用 $M$ 专指掩码，以免把“是否存在一条边”和“这条边有多大权重”混为一谈。权重的准确形式是：

$$
A_{ij}=
\begin{cases}
\displaystyle
\frac{\exp(Q_iK_j^\top/\sqrt d)}
{\sum_{u\in Ne(i)}\exp(Q_iK_u^\top/\sqrt d)},&j\in Ne(i),\\[6pt]
0,&j\notin Ne(i).
\end{cases}
$$

每行非负且和为 1。softmax 在允许的邻居集合内计算，因此不能先对所有 key 做 softmax，再直接乘一个掩码而不重新归一化。普通稀疏注意力的输出就是 $AV$。（式 S.1–S.5，PDF p. 3。）

### 2.2 三种连接承担不同任务

![三种模型的稀疏连接模式](figures/fig-s2-patterns.png)

图 S.2，PDF p. 3。横轴和纵轴对应 key/query 位置；红色为局部连接，橙色为全局连接，蓝色为随机连接。图中画的是可计算位置，颜色不代表训练后的注意力强弱。

| 连接类型 | Diffuser 的设计 | 目的 |
| --- | --- | --- |
| 局部窗口 | 左右各约 $w/2$ 个 token，并考虑相邻窗口重叠 | 保留局部依赖；多次传播扩大邻域 |
| 全局连接 | 选择 $g$ 个独立 token，使其同时能读取所有位置、被所有位置读取 | 为远距离传播提供短路径 |
| 随机连接 | 每个 token 选择 $r$ 个随机 token | 增加跨区域路径，减少局部团块之间的瓶颈 |

与 BigBird 的块级全局/随机选择相比，Diffuser 以单个 token 为单位分散连接。与 Longformer 的参数设计相比，Diffuser 的全局注意力和其他注意力共用投影参数。作者用 DGL 的稀疏图计算内核实现这些不规则连接。（Sparse Pattern Design，PDF p. 4。）

在非因果图中，只要存在双向连接到全部位置的全局 token，任意两个普通 token 在拓扑上最多相隔两跳。因此，两步传播已经可以产生全局的非零依赖；更多传播步数改变的是路径组合及其权重。仅有局部边时，感受野则随 $K$ 逐步扩张。一般图中，“单层包含全部 token 交互”需要路径长度不超过实际传播预算。

### 2.3 多跳作用如何从边权产生

作者定义：

$$
\mathcal A=\sum_{k=0}^{\infty}\theta_kA^k,\qquad
\theta_k\ge0,\qquad \sum_{k=0}^{\infty}\theta_k=1.
$$

式 S.6，PDF p. 3。$A^0=I$ 保留自身，$A$ 是一步读取，$A^2$ 则满足

$$
(A^2)_{ij}=\sum_u A_{iu}A_{uj}.
$$

query $i$ 先读取中间 token $u$，$u$ 再读取 $j$，于是 $j$ 的 value 可以影响 $i$。长度为 $k$ 的传播会把所有相应路径的边权乘积加总；这里的“路径”允许重复访问节点，即图论中的 walk。

这种计算对路径结构施加了归纳偏置：若中间边权很小，远处信息即使可达也可能十分微弱。它并未计算被删去的直接相似度 $Q_iK_j^\top$，而是通过已有局部相似度合成间接关系。

### 2.4 PPR 递推避免显式构造 $A^k$

取几何衰减权重

$$
\theta_k=\alpha(1-\alpha)^k,\qquad 0<\alpha\le1,
$$

便得到

$$
\mathcal A=\alpha\sum_{k=0}^{\infty}(1-\alpha)^kA^k
=\alpha\bigl[I-(1-\alpha)A\bigr]^{-1}.
$$

最后一个等号是几何级数恒等式，用来理解算子；实际实现不做矩阵求逆。因为 $A$ 行随机、谱半径不超过 1，$\alpha>0$ 时该级数收敛。

作者直接对 value 做迭代：

$$
Z_{(0)}=V,\qquad
Z_{(k+1)}=(1-\alpha)AZ_{(k)}+\alpha V,\quad 0\le k<K.
$$

式 S.7，PDF p. 3；收敛证明见附录 A，p. 11。每轮都注入原始 $V$，保留源 token 的信息，限制反复传播造成的过度混合。较大的 $\alpha$ 偏重原始表示；较小的 $\alpha$ 允许长路径贡献更多。$\alpha=1$ 时扩散输出就是 $V$。

**一次投影与打分，多次 value 聚合**是实现的重点。$Q,K,V,A$ 在该层的传播过程中固定，迭代之间没有新的前馈网络或注意力打分。多头输出拼接、输出投影、残差与前馈层则位于扩散模块之外。

![Diffuser 层结构](figures/fig-s3-architecture.png)

图 S.3，PDF p. 4。左侧是层级数据流，右侧依次展示一跳、两跳、三跳的信息覆盖。右侧新增的虚线表示有效信息流，不表示计算时真的把所有这些间接边存成稠密矩阵。

### 2.5 有限步输出与一个三 token 例子

附录 A 给出了有限 $K$ 的准确展开：

$$
Z_{(K)}=
\left[
(1-\alpha)^KA^K+
\alpha\sum_{i=0}^{K-1}(1-\alpha)^iA^i
\right]V.
$$

它和“直接截断无限级数到 $K$ 项”有区别：最后保留了系数为 $(1-\alpha)^K$ 的 $A^K$ 项。所有系数仍然加总为 1。

例如 $K=5,\alpha=0.1$ 时：

$$
Z_{(5)}=
\left(
0.1I+0.09A+0.081A^2+0.0729A^3+
0.06561A^4+0.59049A^5
\right)V.
$$

这说明实验配置中第五步项占很大权重。任务分数在五步附近饱和，说明继续传播对该任务的收益已经较小；单凭这一现象，不能判断算子已高精度逼近无限步 PPR。

下面是**教学例子**，并非原论文实验。设

$$
A=
\begin{bmatrix}
1/2&1/2&0\\
0&1/2&1/2\\
0&0&1
\end{bmatrix},\qquad \alpha=0.1.
$$

一跳时 token 1 无法读取 token 3。两步后，

$$
Z_{(2),1}=0.3475V_1+0.45V_2+0.2025V_3.
$$

其中 $V_3$ 的系数是 $0.9^2A_{12}A_{23}=0.2025$。这直接展示了稀疏边如何在一次注意力层里合成更远的交互。

### 2.6 计算成本与训练/推理方式

按实际边数计算，一次稀疏打分约需 $O(|\mathcal E|d)$，$K$ 轮 value 聚合约需 $O(K|\mathcal E|d_v)$，另加投影和前馈成本。存储一组边权需要 $O(|\mathcal E|)$，单轮传播状态需要 $O(nd_v)$；直接自动微分还可能保留多轮中间状态。

在固定 $w,g,r$ 的 token 级邻接预算下，边数随 $n$ 线性增长；只有同时固定传播步数 $K$，上述注意力计算才随序列长度线性增长。正文将局部窗口部分写作 $O(nw^2)$，没有完整展开实现细节；以 $|\mathcal E|$ 表达可以避免把窗口实现、通道宽度和传播轮数混在一起。（PDF pp. 3–4。）

| 序列长度 | Longformer 非零比例 | BigBird | Diffuser |
| --- | ---: | ---: | ---: |
| 1,024 | 62.5% | 55.7% | 24.0% |
| 2,048 | 34.4% | 32.5% | 15.5% |
| 4,096 | 18.0% | 16.9% | 11.2% |
| 8,192 | 9.2% | 8.7% | 5.7% |

表 S.1、S.8，PDF pp. 4、12。这里统计的是一跳模式中的非零比例。更少的边可以节省存储和打分，但这些边会被传播过程重复使用，因而表中的稀疏度不能直接转换成运行时间加速比。

训练和前向推理都使用相同的展开递推，梯度经过多轮聚合回到注意力权重和投影参数。语言实验采用 RoBERTa 权重初始化后继续 MLM 预训练，再进行任务微调，包含适应新传播规则的训练成本。

若用于自回归任务，需要另外保证因果性。一个直接的数学条件是：稀疏矩阵 $A$ 为下三角矩阵，则所有 $A^k$ 及其加权和仍为下三角矩阵。因此每条局部、随机、全局边都必须服从因果掩码。论文图像实验没有完整展开这一掩码的实现，这一条件是根据公式得到的实现解释。

### 2.7 通用逼近：减少网络层数的构造思路

定理 1 考虑紧致定义域上的连续序列到序列函数 $f$，声明存在某个 Diffuser 网络 $g$，使

$$
d_q(f,g)=
\left(\int_{\mathbb D}\|f(X)-g(X)\|_q^q\,dX\right)^{1/q}
\le\epsilon,\qquad 1\le q<\infty.
$$

它使用积分意义下的 $L^q$ 误差。正文 Assumption 1 要求所有 token 能读取自身，且稀疏图存在连接所有节点的 Hamilton 路径。（式 S.8、定理 1，PDF p. 5。）

附录 C 的证明分三步：

1. **离散化目标。** 在细网格上用分段常数函数逼近连续函数。
2. **构造上下文标识。** 加入位置编码，把不同 token 放入不同数值区间；通过量化、hardmax 和两个注意力头的选择性平移，将整条序列的信息编码成可区分的标识。扩散使一个注意力层能沿路径连续读取多个 token，再通过额外传播将上下文信息分发给其他位置。
3. **回到普通网络。** 用 softmax 和通常的前馈非线性逼近上述修改后的构造，控制累计误差。（PDF pp. 12–15。）

这里最值得借鉴的是“用层内传播替代部分跨层通信”的思路，但证明条件需要按附录理解：p. 15 明确令 **$K$ 大于序列长度**，最后还假设指定的 $\gamma(1)$ 是全局 token。全局 token 条件没有包含在正文只列出的两条假设中。因而该构造中减少的是某些注意力层的数量，传播计算并未随之消失；它没有直接给出固定 $K=5$ 下同样的构造效率。对一般仅满足正文两条条件的有向图，附录这些额外结构还需要另行论证。

### 2.8 扩展图：为什么连接分散有助于传播

扩展图（expander graph）的直觉是：图虽稀疏，但很难切出一个与其他区域仅有少量联系的大群体。随机边能减少这样的瓶颈，逐 token 的随机选择则避免将大量预算集中在少数块之间。

谱分析部分改为研究无向、无权、$d$-正则图。这里 $d$ 表示节点度数，和前面的特征维度同字母但含义不同。若邻接矩阵的非主特征值满足

$$
|\mu_i|\le\epsilon d,\qquad i\ge2,
$$

则其拉普拉斯特征值集中在 $d$ 附近。定义

$$
\beta=\frac{\max(|\mu_2|,|\mu_n|)}d<1,\qquad
\widehat A=A/d,
$$

定理 3 给出随机游走的混合界：

$$
\|\widehat A^tv-u\|_1\le\sqrt n\,\beta^t,
$$

其中 $u$ 为均匀平稳分布，$v$ 是初始概率分布。$\beta$ 越小，遗忘初始偏差越快；实际控制收敛的是 $1-\beta$ 意义下的谱间隙。原文把非主特征值最大绝对值也称为 spectral gap，阅读时应以公式为准。（定理 3、式 S.9，PDF p. 5；附录 D，pp. 16–17。）

谱近似的准确比较对象也很重要。正文定理 2 写作逼近完全图 $K_n$，但附录证明实际上使用

$$
H=\frac dnK_n,\qquad
(1-\epsilon)L_H\preceq L_G\preceq(1+\epsilon)L_H.
$$

对 $x\perp\mathbf 1$，有 $x^\top L_Hx=d\|x\|^2$。这个缩放不可省略：固定度数稀疏图与未缩放完全图的拉普拉斯量级不同。（附录 D，PDF p. 16。）

**这一理论支持的是稀疏拓扑的连通与混合性质。** 学到的注意力矩阵通常有方向、非对称，而且边权取决于内容；它和这里的无权正则图并不相同。论文没有由该谱近似推出对任意 $Q,K,V$ 都成立的全注意力输出误差界，例如 $\|\mathcal AV-\operatorname{softmax}(QK^\top/\sqrt d)V\|$ 的统一上界。

### 2.9 扩散的低通解释

在实谱的对称或可逆归一化图情形，设 $L=I-A$ 的特征值为 $\lambda$，则 PPR 对该频率的特征分量乘以

$$
h(\lambda)=\frac{\alpha}{\alpha+(1-\alpha)\lambda}.
$$

低频对应图上变化缓慢的模式，保留得更多；高频分量被压低。对应扩散图的拉普拉斯 $\mathcal L=I-\mathcal A$，则有

$$
\widetilde\lambda=1-h(\lambda)
=1-\frac{\alpha}{1-(1-\alpha)(1-\lambda)}.
$$

后一式是原文命题 5、式 S.10（PDF p. 11）。需要区分“特征信号的响应 $h(\lambda)$”与“扩散后拉普拉斯的特征值 $\widetilde\lambda$”；对低频的相对保留不要求信号绝对幅度被放大。一般有向注意力未必有实数、正交的图傅里叶基，低通图像应在上述谱假设下理解。

![不同模型和扩散步数的图谱](figures/fig-s9-model-spectra.png)

图 S.9，PDF p. 14；分析说明见附录 B，p. 12。横轴为特征值排序索引，纵轴为归一化拉普拉斯特征值；左图比较模型，中图比较随机边与均匀间隔边，右图比较扩散步数。图主要标出谱的极端位置及连接线，不宜把折线当成逐个中间特征值的完整曲线。作者观察到 Diffuser 的谱较集中，增加传播步数的变化逐渐趋缓；这为连接设计提供了图结构层面的解释。

## 三：实验——分别检验语言质量、长程交互与资源成本

### 3.1 语言模型训练及下游设置

模型以 RoBERTa checkpoint 初始化，在 Books、CC-News、Wikipedia 上继续做掩码语言建模（MLM）。附录列出的语料 token 数分别为 1.0B、7.4B、3.1B；这些是数据集统计，不能直接当作 50K 步训练实际消耗的 token 数。按 RoBERTa 方法遮盖 15% token，前 10,000 步 warmup，随后线性衰减学习率。（附录 E、表 S.9–S.10，PDF p. 17。）

| 语言模型配置 | 原文取值 |
| --- | --- |
| 最大序列长度 | 4,096 |
| 层数 / 隐藏维度 / 头数 | 12 / 768 / 12 |
| dropout | 0.1 |
| 局部窗口 / 全局 token / 随机 token 预算 | 64 / 64 / 64 |
| 扩散步数 $K$ / 重启率 $\alpha$ | 5 / 0.1 |
| 表 S.2 中最终继续预训练步数 | 50,000 |

文本分类使用五个数据集，并微调预训练模型：

| 数据集 | 任务与规模 | 长度信息 |
| --- | --- | --- |
| Hyperpartisan（HYP） | 新闻二分类，645 篇 | 95 分位长度 2,030 |
| 20NewsGroups（20NG） | 新闻组 20 分类，18,846 篇 | 95 分位长度 1,229 |
| IMDB | 影评二分类，50,000 篇 | 95 分位长度 771 |
| Amazon-512 | Electronics 长评论，5 分类，53,471 篇 | 按正文筛选超过 512 words；95 分位 token 数 1,696 |
| Amazon-2048 | Books 长评论，5 分类，随机抽取 10,000 篇 | 按正文筛选超过 2,048 words；95 分位 token 数 5,216 |

Amazon 两个集合均按 8:1:1 划分训练/验证/测试。正文用 words 描述筛选阈值，表格的长度分位数用 token 口径，两者不宜互换。比较对象包括 BERT、RoBERTa、Longformer、BigBird，以及在原模式上加入扩散的 Longformer_D、BigBird_D。最后两者用于分辨扩散机制和 Diffuser 特定连接模式的作用。（PDF p. 6；附录 E、表 S.11，p. 18。）

问答使用 WikiHop 和 TriviaQA：前者需要跨文档判断候选答案，后者预测答案跨度。采用 RoBERTa tokenizer 和任务输出层；附录给出学习率 $3\times10^{-5}$ 与线性 warmup。WikiHop 平均文档长度约 1,564，TriviaQA 约 11,642；后者的输入处理和截断会明显影响可读取证据的范围。报告指标分别为 WikiHop accuracy，以及 TriviaQA token F1、完全匹配率 EM。（表 S.4，PDF p. 7；附录 E，p. 18。）

### 3.2 图像密度与 LRA

图像密度实验将 CIFAR-10、ImageNet-64 分别表示为长度 3,072、12,288 的序列，以每维比特数 BPD 衡量预测分布，越低越好。比较对象包含 PixelCNN 系列、PixelSNAIL、Sparse Transformer，以及 ImageNet-64 上的 Parallel Multiscale、SPN。

配置以附录 E 的分数据集说明为准：CIFAR-10 使用 8 层、隐藏维度 512、8 头，训练 500,000 步，batch size 16，学习率 $10^{-3}$；ImageNet-64 扩大为 20 层、隐藏维度 768，并使用余弦学习率调度。正文 p. 7 概括写成 8 层/512，因此该概括不能直接套用于两个数据集。（附录 E，PDF p. 18。）

LRA 使用五项任务：ListOps、字节级 Text、Retrieval、Image、Pathfinder，检验结构化运算、文本及视觉中的长程依赖。作者列出全注意力 Transformer、局部/固定稀疏方法、Reformer/Sinkhorn、Linformer、Linear Transformer、Performer、Synthesizer、Combiner、Longformer、BigBird 等比较模型。指标是各任务 accuracy 与五任务平均。（表 S.6，PDF p. 7。）

### 3.3 指标怎样读

| 指标 | 含义与方向 | 本文阅读口径 |
| --- | --- | --- |
| MLM BPC ↓ | 掩码预测损失按字符归一化后的比特口径 | 保留作者的 MLM 指标名称；不当作自回归文本压缩率 |
| 文本分类 F1 ↑ | 综合 precision 与 recall | Avg. 为五个数据集分数的算术平均；文中没有明确逐任务 macro/micro 口径 |
| QA accuracy / F1 / EM ↑ | 选对候选、答案 token 重叠、完整答案匹配 | 三种指标分别比较，不合并成一个 QA 均值 |
| 图像 BPD ↓ | 每个像素通道维度的负对数似然比特数 | 不与 MLM BPC 横向比较 |
| LRA accuracy ↑ | 分类正确率 | 原表 Diffuser 的 Avg. 与逐项均值不一致，分别标注 |
| GB / 秒每迭代 ↓ | 显存占用 / 执行时间 | 取自原图；无数据标签的数值只作约读 |

## 四：结果——扩散有效，但提升与代价需要按具体比较理解

### 4.1 资源：显存较低，传播仍需时间

![显存和运行时间](figures/fig-s4-efficiency.png)

图 S.4，PDF p. 6。两个面板的横轴都是序列长度 1K–4K；左纵轴为显存 GB，右纵轴为秒/迭代。深蓝色是 Diffuser。

在 4K 位置，Diffuser 的显存约 7.2 GB，Performer 约 12 GB，符合作者所述的约 1.67 倍显存比。换成“减少多少”这一口径，约为减少 40%，而非减少 67%。但 Linformer 曲线与 Diffuser 几乎重叠，所以“相对最佳基线省 1.67 倍显存”的概括不适用于图中全部模型。

右图中，4K 的 Diffuser 约为 0.75 秒/迭代，Performer 约 0.25，Linformer 约 0.18，Longformer/BigBird 约 0.46–0.48。它比 Reformer 更快，但比这些比较模型更慢。上述读数是图形约值；作者没有同时给出足够完整的硬件、batch 和算子配置来将该比值推广到其他实现。

这组证据支持的实际取舍是：稀疏存储和较少的一跳边可控制显存，而重复图聚合带来运行时间成本。是否值得采用，需要结合任务质量和具体硬件上的稀疏算子效率。

### 4.2 语言任务：需要适应新算子，也能改善下游表现

**MLM 继续预训练。**

| 模型或阶段 | MLM BPC ↓ |
| --- | ---: |
| RoBERTa | 2.02 |
| Longformer | 1.86 |
| BigBird | 1.82 |
| Diffuser，初始化 | 3.52 |
| Diffuser，10K 步 | 1.96 |
| Diffuser，50K 步 | **1.68** |

表 S.2，PDF p. 6。初始化从 2.02 对应的 RoBERTa 基线恶化至 3.52，说明直接替换传播规则会改变模型行为。继续训练后降至 1.68，比 BigBird 的 1.82 低 0.14 BPC。作者将前 10K 步的大幅改善解释为模型学习利用扩散；该结果也提示，迁移现有权重时要计入适应训练。

**文本分类。**

| 模型 | HYP | 20NG | IMDB | A-512 | A-2048 | 平均 F1 ↑ |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| BERT | 85.7 | 85.3 | 91.3 | 59.2 | 50.3 | 74.36 |
| RoBERTa | 87.4 | 85.7 | 95.3 | 65.0 | 57.9 | 78.26 |
| BigBird | 92.2 | 82.3 | 95.2 | 67.4 | 63.6 | 80.14 |
| Longformer | 93.8 | 86.3 | **95.7** | 67.3 | 61.2 | 80.86 |
| BigBird_D | 93.1 | 84.5 | 95.0 | **68.2** | 63.4 | 80.84 |
| Longformer_D | 93.5 | **87.3** | 95.4 | 67.0 | 62.5 | 81.24 |
| Diffuser | **94.4** | 86.8 | 95.2 | 67.8 | **64.8** | **81.80** |

表 S.3，PDF p. 6。Diffuser 的优势体现于总体平均和部分长文档任务，逐任务最佳则分布在多个模型上。

扩散让 BigBird 的平均分增加 0.70、Longformer 增加 0.38 个百分点；两个模型也都有单项下降。因此“扩散 consistently better”应理解为这里的平均结果，而非每个数据集都提高。Diffuser 相比原始 Longformer 的 0.94 个百分点，是摘要中的文本分类提升来源。

在 A-2048 上，Diffuser 相比 BigBird 为 $64.8-63.6=1.2$ 个百分点，相比 Longformer 为 3.6 个百分点；A-512 上则比 BigBird 高 0.4。这与作者关注的长文档传播相吻合，增强对照 Longformer_D/BigBird_D 则说明收益不只来自更换一种稀疏图。

**问答。**

| 模型 | WikiHop accuracy ↑ | TriviaQA F1 ↑ | TriviaQA EM ↑ |
| --- | ---: | ---: | ---: |
| RoBERTa | 71.82 | 74.02 | 66.87 |
| Longformer | 75.30 | 74.82 | 67.24 |
| BigBird | 74.54 | 73.16 | 68.26 |
| Diffuser | **75.80** | **75.84** | **70.20** |

表 S.4，PDF p. 7。相对各列最佳基线，提升分别为 0.50、1.02、1.94 个百分点。WikiHop 改善较小；TriviaQA 的完全匹配率改善更明显。跨文档、多证据输入是多跳传播有可能发挥作用的场景，这组结果与该动机一致。

### 4.3 图像密度：CIFAR-10 略好，ImageNet-64 持平

| 数据集 | 序列长度 | Sparse Transformer BPD ↓ | Diffuser BPD ↓ |
| --- | ---: | ---: | ---: |
| CIFAR-10 | 3,072 | 2.80 | **2.78** |
| ImageNet-64 | 12,288 | **3.44** | **3.44** |

表 S.5，PDF p. 7。CIFAR-10 降低 0.02 BPD；ImageNet-64 在报告精度下并列。该实验说明方法可用于语言之外的序列密度建模，但不支持“两个数据集都严格优于 Sparse Transformer”的说法。两个数据集使用的 Diffuser 规模也应按前述附录配置区分。

### 4.4 LRA：三个单项领先，平均分存在算术差异

下面保留若干关键比较模型，Avg. 列忠实抄录原表：

| 模型 | ListOps | Text | Retrieval | Image | Pathfinder | 原报 Avg. |
| --- | ---: | ---: | ---: | ---: | ---: | ---: |
| Transformer | 36.37 | 64.27 | 57.46 | 42.44 | 71.40 | 54.39 |
| Linear Transformer | 16.13 | **65.90** | 53.09 | 42.34 | 75.30 | 50.55 |
| Performer | 18.01 | 65.40 | 53.82 | 42.77 | **77.05** | 51.41 |
| Combiner | 36.65 | 64.99 | 59.81 | 41.67 | 71.52 | 54.93 |
| Longformer | 35.63 | 62.85 | 56.89 | 42.22 | 69.71 | 53.46 |
| BigBird | 36.05 | 64.02 | 59.29 | 40.83 | 74.87 | 55.01 |
| Diffuser | **37.52** | 65.20 | **61.28** | **45.20** | 76.58 | **57.31** |

表 S.6，PDF p. 7。Diffuser 的 ListOps、Retrieval、Image 分数均高于原表其余全部模型；Text 的最好成绩属于 Linear Transformer，Pathfinder 的最好成绩属于 Performer。

但逐项平均为

$$
\frac{37.52+65.20+61.28+45.20+76.58}{5}
=57.156.
$$

BigBird 相同口径为 55.012，因此差值是 **2.144 个百分点**。论文摘要和正文的“2.30%”来自原报 Avg. 的 $57.31-55.01$。这个差异大于两位小数四舍五入能解释的范围，且原文没有另给足以解释差异的平均规则。两种口径下 Diffuser 的总体排名都保持第一，但引用提升幅度时应注明口径。

### 4.5 消融：扩散与局部边贡献最大

为了使消融差值使用一致口径，下表在保留原报 Avg. 的同时，按表 S.7 的五个单项分数重新计算平均和下降量。

| 变体 | 原报 Avg. | 按五项重算 | 相对完整模型下降 |
| --- | ---: | ---: | ---: |
| 完整 Diffuser | 57.31 | 57.16 | — |
| 去掉局部连接 | 52.65 | 52.65 | 4.51 个百分点 |
| 去掉随机连接 | 55.74 | 55.74 | 1.41 个百分点 |
| 去掉全局连接 | 55.19 | 55.19 | 1.97 个百分点 |
| 去掉扩散 | 52.36 | 52.36 | 4.79 个百分点 |
| 随机位置改为均匀间隔 | 57.07 | 57.07 | 0.09 个百分点 |

表 S.7，PDF p. 7。下降量用未四舍五入的单项均值计算。扩散和局部结构对该组结果的影响最大；全局与随机连接也有帮助。

“w uni.” 根据附录 B 指的是**随机边的位置改为均匀间隔选取**，并非把注意力权重设成均匀值。这个变体接近完整模型，提示远距离连接如何分散可能比采样随机性本身更关键。由于模型不是在相同边数下重新分配被删除预算，该组件消融同时包含结构变化和边预算变化。

![扩散步数和重启率消融](figures/fig-s5-diffusion.png)

图 S.5，PDF p. 7，使用 A-2048。左图横轴为扩散步数 $K$，右图为重启率 $\alpha$；两图纵轴原标注均为 Accuracy (%)，与表 S.3 的 F1 口径不同。增加步数至约五步时收益趋于饱和；$\alpha$ 约 0.1 表现最好，过大的重启权重会削弱邻居信息的作用。作者据此采用 $K=5,\alpha=0.1$。

![三种连接的预算消融](figures/fig-s6-attention-budget.png)

图 S.6，PDF p. 7。前三图依次改变局部、随机、全局连接比例；第四图改变随机连接占随机与全局连接总量的比例。曲线表明预算增加的收益会饱和，部分范围还会回落；随机/全局连接在中间配比处优于单独使用一种。它支持在传播覆盖、局部性和计算量之间选择合适组合。

**输入移位鲁棒性。**

![循环移位后的 F1](figures/fig-s11-rolling.png)

图 S.11，PDF p. 19；实验说明见附录 F，p. 18。横轴是将输入序列与 mask 一起循环移位的 token 数，纵轴是 F1；左图 HYP，右图 A-2048，输入长度均为 4,096。

A-2048 上仅移位一个 token 时，Longformer/BigBird 的 F1 已大幅下降，Diffuser 从约 65 降至约 59，并在后续移位下较稳定。HYP 上 Diffuser 与 RoBERTa 也比两个稀疏基线稳健，但所有模型仍明显退化。

作者把这一差异解释为扩大的交互范围缓解了稀疏边界变化。实验同时改变了内容与绝对位置及序列边界的对应关系，因此它测到的是整体移位鲁棒性；从该实验单独分离“图结构变化”和“位置编码变化”的影响，还需要额外对照。

## 五：结论——把传播距离与网络深度部分解耦

Diffuser 提供了一个清楚的设计思路：**稀疏图决定一跳关系怎样计算，层内扩散决定这些关系怎样组合成更远的信息流。** 它把部分跨层传播移到一个注意力模块内，使一次稀疏打分可以服务多轮 value 聚合；局部、全局和分散的随机连接为这种复用提供不同路径。

实验证据中，文本分类、问答和 LRA 的总体提升，以及去掉扩散后的明显下降，最直接支持这一机制的实用价值。图像密度实验的改善较小；资源实验则体现了以多轮稀疏传播换取质量与显存的取舍。

理论阅读的关键是保留对象和预算：谱定理分析的是经过适当缩放的理想图，通用逼近构造使用的扩散预算也不同于实际五步模型。结合 LRA 平均值差异后，最稳妥的论文结论是：**Diffuser 展示了多跳扩散增强稀疏 Transformer 的有效性，但全局可达、任意全注意力的数值逼近和实际推理加速，需要分别判断。**

若沿此方向继续研究，最有价值的比较包括：固定总边访问量比较传播步数与直接增边；在相同训练和算子条件下区分拓扑收益与扩散收益；用输出误差和长距离检索任务检验路径合成是否保留任务所需的信息。这些比较直接对应本文方法的主要取舍。