# Smoothie：在 token 嵌入上平滑扩散的中文精读笔记

**论文**：Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation  
**作者**：Alexander Shabalin、Viacheslav Meshchaninov、Dmitry Vetrov  
**版本**：arXiv:2505.18853v2，2026-05-15 修订；首次提交于 2025-05-24。  
**研读日期**：2026-10-14。文中页码均为从 1 开始的 PDF 页码，与本版本印刷页码一致。  
**材料**：[arXiv v2](https://arxiv.org/abs/2505.18853v2) · [本地原文 PDF](../source/paper.pdf) · [英文汇报 PDF](slides.en.pdf) · [可编辑 TeX](slides.en.tex) · [作者代码链接](https://github.com/ashaba1in/smoothie)

## 论文总览

Smoothie 研究的问题是：**怎样让文本扩散既利用词义之间的远近，又始终保留通向离散 token 的明确接口？** 作者为每个 token 建立一个长度为词表大小的向量，其中每一项是它与一个词表嵌入的负平方距离。扩散时逐渐缩小距离分数的幅度，再叠加高斯噪声；经过 softmax，原本集中在目标 token 附近的权重逐渐扩散，模型看到的是这些权重对词表嵌入的加权平均。

去噪网络只预测一个低维嵌入，训练使用均方误差（MSE）。论文证明，在平方欧氏距离下，最优的“距离向量预测”与“先预测平均嵌入、再计算距离”只相差一个对词表各项相同的平移，因此二者产生相同的 softmax 权重。采样时，模型反复执行“预测干净嵌入 → 重建距离 → 按更低噪声水平重新加噪”。

主要实证结果是：在约 100M 参数的任务级模型上，Smoothie 改善了多项生成指标。ROCStories 无条件生成的 MAUVE 达到 **80.7**，高于 TEncDM 的 76.2 和本文统一框架中的 Embedding 基线 41.5；XSum 的 ROUGE-1/2/L 为 **33.7/11.1/26.0**。这些收益伴随全词表计算成本，而且并非所有指标都领先：例如 XSum 的 BERTScore 低于 TEncDM，QQP 的 BLEU 低于本文 Embedding 基线。论文更有说服力的贡献，是展示了**扩散空间的语义几何、去噪目标和采样随机性可以联合设计**。（Sec. 4–5，PDF pp. 3–8，Tables 3–4）

## 结构地图

| 原文章节 | 作用 | PDF 页码与主要证据 |
| --- | --- | --- |
| 1. Introduction | 语义结构与离散解码的矛盾 | pp. 1–2；Fig. 1、Table 1 |
| 2. Problem Statement and Background | 无条件/条件生成、嵌入扩散、simplex 扩散 | pp. 2–3；Eq. (1) |
| 3. Related work | 离散、连续和图像平滑扩散的关系 | p. 3 |
| 4. Smoothing Diffusion | 距离表示、前向过程、回归目标、采样、自条件 | pp. 3–5；Eqs. (2)–(10)、Theorem 4.1、Algs. 1–2 |
| 5. Experiments | 随机性、主结果、步数、采样器 | pp. 5–8；Fig. 2、Tables 2–6 |
| 6. Limitations；7. Conclusion | 固定嵌入与全词表计算的限制、贡献总结 | pp. 8–9 |
| A–C | simplex 特例、损失推导、定理证明 | pp. 13–14 |
| D–F | OpenWebText、条件生成噪声、嵌入消融 | pp. 14–15；Tables 7–9 |
| G–I | 自条件、调度、训练动态 | pp. 15–16；Tables 10–11、Figs. 3–4 |
| J–K | 超参数与数据统计 | pp. 16–17；Table 12 |
| L. Semantic degradation examples | 随噪声变化的解码样例 | p. 18；Table 13 |

## 一：动机——为什么需要新的扩散空间

### 1.1 三种表示分别保留了什么

嵌入扩散在 $d$ 维连续空间里给 token embedding 加高斯噪声。相近的嵌入较早变得难以区分，因而腐蚀过程能利用语义几何；但网络生成的连续向量未必正好落在一个词表嵌入上，需要舍入或额外解码器。

Simplex 扩散为词表中的每个候选 token 保留一个分数。以 TESS/SSD-LM 的表示为例，真实 token 的分数为 $+k$，其他候选都为 $-k$。它天然保留了词表坐标，然而所有错误候选在干净表示中都处于同一地位：“近义词”和“不相关词”没有几何差异。

Smoothie 保留词表分数向量，同时用嵌入距离替代相同的错误候选分数。这里所谓“考虑离散性”，具体指每一维对应一个可输出 token、最后可以按分数选词；中间状态依然是连续变量。（Sec. 1–4.1，PDF pp. 1–4）

![图 1：Gaussian、simplex 与 smoothing 三种扩散过程](figures/fig-01-semantic-smoothing.png)

*原文 Fig. 1，PDF p. 2。黑点表示词表嵌入，蓝圈标记所考察的 token；右侧颜色表示词表权重。先看左上 a 的嵌入扰动，再比较右上 b 与右下 c：simplex 的权重扩散不依赖词间距离，而 smoothing 先把权重分给邻近嵌入。该图是作者的方法示意。*

### 1.2 创新应如何定位

论文把平滑扩散思想引入词表几何，主要新意落在三处：距离形式的状态表示、允许低维嵌入回归的平方距离恒等式，以及直接对预测结果重新加噪的采样更新。相关工作已经探索过按语义关系替换 token 的离散扩散，论文自己也讨论了 D3PM。因此，不能把贡献理解为“首次让文本扩散使用语义信息”。

它依赖的关键假设是：**所选固定嵌入中的欧氏距离能够表达有用的语义相似性。** 这会直接影响前向任务的难度和回归目标的意义，也解释了为什么更换嵌入会显著改变最终质量。（Sec. 3–4，PDF pp. 3–4；Appendix F，p. 15）

## 二：方法——从距离向量到文本生成

### 2.1 符号与数据流

| 符号 | 含义与形状 |
| --- | --- |
| $\mathbf w^y$、$m$ | 目标 token 序列及其固定长度 |
| $\mathbf w^x$ | 条件生成的输入序列 |
| $V$ | 词表大小 |
| $\mathbf E\in\mathbb R^{V\times d}$ | 固定词表嵌入；主实验隐藏维度为 768 |
| $\mathbf D_0,\mathbf D_t\in\mathbb R^{m\times V}$ | 干净距离分数与带噪距离分数 |
| $\mathbf p_t\in\mathbb R^{m\times V}$ | 按词表维度做 softmax 后的概率权重 |
| $\sigma_t$ | 平滑带宽；越大，距离造成的分数差越小 |
| $\delta,\tilde\delta$ | 分别为训练前向噪声、生成反向噪声的标准差 |
| $f_\theta$ | 输出 $m\times d$ 嵌入预测的去噪网络 |

整个计算链条是：

$$
\mathbf w^y\longrightarrow\mathbf E_{\mathbf w^y}
\longrightarrow\mathbf D_0
\longrightarrow\mathbf D_t
\longrightarrow\mathbf p_t
\longrightarrow\mathbf p_t\mathbf E
\longrightarrow f_\theta
\longrightarrow\widehat{\mathbf E}_{\mathbf w^y}.
$$

网络在形式上记为 $f_\theta(\mathbf p_t,t)$，实际输入是低维的 $\mathbf p_t\mathbf E$；它并不把完整的 $m\times V$ 分数矩阵作为 Transformer 隐藏状态。（Sec. 5，PDF p. 5）

### 2.2 前向过程：减少距离差异，而非不断增大噪声方差

对第 $i$ 个目标 token 与第 $j$ 个词表 token，定义

$$
[\mathbf D_0]_{ij}
=-\frac12\left\|\mathbf E_{w_i^y}-\mathbf E_j\right\|^2.
\tag{原文 2}
$$

目标 token 自身的分数为 0，其他分数不大于 0。相似 token 的分数较接近 0，较远 token 的分数更负；若存在完全相同的嵌入，则可能出现并列最大值。

作者定义的前向联合分布为

$$
q(\mathbf D_{1:T}\mid\mathbf D_0)
=\prod_{t=1}^T
\mathcal N\!\left(\mathbf D_t;
\frac{\mathbf D_0}{\sigma_t^2},\delta^2\mathbf I\right),
$$

亦即可以直接采样

$$
\mathbf D_t=\frac{\mathbf D_0}{\sigma_t^2}+\delta\boldsymbol\varepsilon,
\qquad\boldsymbol\varepsilon\sim\mathcal N(\mathbf0,\mathbf I).
\tag{原文 3}
$$

给定干净数据，各噪声时刻独立采样；这里不是逐步由 $\mathbf D_{t-1}$ 加噪得到 $\mathbf D_t$ 的马尔可夫链。训练中 $\delta=1$ 不随时间变，信息逐渐减少主要来自 $1/\sigma_t^2$ 衰减，使信号相对于固定噪声越来越弱。（Sec. 4.1，PDF pp. 3–4）

接着计算

$$
\mathbf p_t=\operatorname{softmax}(\mathbf D_t),
\qquad \mathbf h_t=\mathbf p_t\mathbf E.
$$

暂时去掉随机扰动，一行权重为

$$
p_{t,ij}=\frac{
\exp\!\left[-\|\mathbf E_{w_i^y}-\mathbf E_j\|^2/(2\sigma_t^2)\right]
}{\sum_{k=1}^V
\exp\!\left[-\|\mathbf E_{w_i^y}-\mathbf E_k\|^2/(2\sigma_t^2)\right]}.
$$

这正是高斯核平滑的归一化权重，$\sigma_t$ 是核带宽。加上原方法的噪声后，每项还乘有 $\exp(\delta\varepsilon_{ij})$，因此是带随机扰动的核权重。无噪声时 $\sigma\to\infty$ 使权重趋于均匀；保留噪声时极限为 $\operatorname{softmax}(\delta\boldsymbol\varepsilon)$，其特点是失去目标 token 信息，而非每次采样都严格均匀。

**教学例子。** 假设目标词、近邻词、远邻词相对于目标嵌入的平方距离分别为 $0,4,36$，忽略随机噪声，则：

| 带宽 $\sigma$ | 目标词权重 | 近邻词权重 | 远邻词权重 |
| --- | --- | --- | --- |
| 1.5 | 0.7085 | 0.2913 | 0.0002 |
| 3 | 0.5165 | 0.4136 | 0.0699 |
| 6 | 0.3918 | 0.3706 | 0.2376 |

这个人为构造的小例子说明：带宽较小时，目标词与近邻词先发生混合，远邻词需要更大的带宽才占有明显权重。它不对应论文中任何真实词的测量。

### 2.3 为什么可以只预测嵌入：Theorem 4.1

直接回归 $V$ 维距离分数的目标为

$$
L_{\mathbf D}(\theta)=
\mathbb E\bigl[\|\mathbf D_0(\mathbf E_{\mathbf w^y})
-g_\theta(\mathbf p_t,t)\|^2\bigr].
\tag{原文 7}
$$

作者最终使用的是低维嵌入 MSE：

$$
L_{\mathbf E}(\theta)=
\mathbb E\bigl[\|\mathbf E_{\mathbf w^y}
-f_\theta(\mathbf p_t,t)\|^2\bigr].
\tag{原文 8}
$$

下面把 Appendix C 的证明写成显式条件期望。固定一个位置，令 $U$ 为其真实嵌入，$Z$ 为模型观测的噪声输入、时间及条件，$\mu=\mathbb E[U\mid Z]$。平方损失的最优预测就是条件均值，因此

$$
f^*(Z)=\mu,
$$

$$
\begin{aligned}
g_j^*(Z)
&=\mathbb E\left[-\tfrac12\|U-\mathbf E_j\|^2\mid Z\right]\\
&=-\tfrac12\|\mu-\mathbf E_j\|^2
-\tfrac12\operatorname{tr}\operatorname{Cov}(U\mid Z).
\end{aligned}
$$

第二项对候选词 $j$ 完全相同，所以

$$
\operatorname{softmax}(g^*(Z))
=\operatorname{softmax}(\mathbf D_0(f^*(Z))).
$$

这给出了方法的关键连接：不必为每个候选词分别学一个最佳距离，预测真实嵌入的条件均值就足以恢复相同的最佳 softmax 权重。证明中的“常数”应理解为**固定观测与位置后，对词表维度恒定的行平移**；它可以随观测和位置变化。恒等式针对平方欧氏距离和最优回归函数，不是任意有限网络的两种训练损失都完全等价。（Theorem 4.1，PDF p. 4；Appendix C，p. 14）

### 2.4 从变分目标到简化损失

论文先把 $-\log p_\theta(\mathbf D_0)$ 上界化为末端先验项、各时间步的高斯 KL 项和重构项。固定高斯方差后，模型相关部分是均值差的平方。将均值表示成“预测干净距离，再按时间缩放”，并去掉时间相关权重，得到上面的 $L_{\mathbf D}$。因此，实际训练使用的是简化的去噪回归目标，而非逐项保留权重的原始变分界。（Sec. 4.2，PDF p. 4；Appendix B，pp. 13–14）

这里有一处会影响公式实现的索引不一致：按 Eq. (3)，当反向转移是 $t\to t-1$ 时，KL 中 $q(\mathbf D_{t-1}\mid\mathbf D_0)$ 的均值应为 $\mathbf D_0/\sigma_{t-1}^2$；正文 Eq. (6) 和附录 Eq. (23) 却写成 $\sigma_t^2$。采样 Eq. (9) 使用的是 $\sigma_{t-1}^2$。另外 Algorithm 1 将前向采样写成 $\mathbf D_t=\mathbf D_t/\sigma_t^2+\delta\varepsilon$，右侧干净输入应按 Eq. (3) 读作 $\mathbf D_0$。本笔记的计算说明采用 Eq. (3) 与 Eq. (9) 的一致索引。

### 2.5 反向过程：预测后重建，不直接搬运当前噪声状态

初始化为

$$
\mathbf D_T\sim\mathcal N(\mathbf0,\tilde\delta^2\mathbf I),
$$

每轮先预测嵌入，再更新

$$
\mathbf D_{t-1}
=\frac{1}{\sigma_{t-1}^2}
\mathbf D_0\!\left(f_\theta(\mathbf p_t,t)\right)
+\tilde\delta\boldsymbol\varepsilon.
\tag{原文 9}
$$

下一轮重新取 $\mathbf p_{t-1}=\operatorname{softmax}(\mathbf D_{t-1})$。与通常保留当前带噪状态的 DDPM/DDIM 更新相比，这个式子不额外加入 $\mathbf D_t$ 的显式残差项。它仍通过网络输入 $\mathbf p_t$ 依赖当前状态，而且实际模型还有自条件历史，因而不能解释成“生成过程没有记忆”。

Algorithm 2 最终对最后的分数按词表维度取 argmax，并去掉 padding token。若分数取自干净距离 $\mathbf D_0(\widehat{\mathbf E})$，argmax 就是最近嵌入解码；严格按 Eq. (9) 的最终带噪状态解码时，还要保留其中的 $\tilde\delta\varepsilon$ 项。该方法的“自然解码”来自固定词表坐标及其距离分数，不需要另训练一个文本解码器。（Sec. 4.2，PDF p. 4，Alg. 2）

### 2.6 调度、自条件和条件生成

带宽调度为

$$
\sigma_t=(\sigma_{\max}-\sigma_{\min})\frac{2}{\pi}
\arctan\!\left(\frac{1}{d}\sqrt{\frac{t}{T-t+\epsilon}}\right)
+\sigma_{\min}.
\tag{原文 10}
$$

主实验设 $\sigma_{\min}=1.5$、$\sigma_{\max}=200$、$\delta=1$。**这里的 $d$ 是调度形状参数，取 5 或 7，与嵌入维度使用了同一个字母，应按上下文区分。** 固定时间比例下，更小的调度 $d$ 产生更大带宽，即更强腐蚀。设计目标是让不同时间段的预测难度分配更合理；附录用重构损失和准确率随时间的曲线进行检查。（Sec. 4.3，PDF pp. 4–5）

自条件（self-conditioning）训练时，以 50% 概率把辅助输入设为零；其余时候先做一次无自条件预测，再以停止梯度的预测作为辅助输入。生成的第一步用零，后续步骤用上一轮的干净嵌入预测。训练中的辅助预测发生在同一噪声输入上，推理中的辅助预测来自上一去噪时刻。（Sec. 4.4，PDF p. 5）

网络采用 12 层、隐藏维度 768、12 个注意力头的 Transformer，并加入 U-Net 风格的跨层相加：第一层输出连到最后一层输入，第二层连到倒数第二层，以此类推。时间嵌入加入各 Transformer 块。条件生成另用 6 层 Transformer encoder 编码 $\mathbf w^x$，通过交叉注意力送入去噪网络。固定嵌入取自 BERT，并归一化到零均值、单位方差；可训练去噪网络按任务从头训练，所以整个流程仍使用了预训练嵌入提供的先验。短序列补齐到设定长度，模型同时学习 padding；目标最大长度约覆盖训练集的第 99 百分位。（Sec. 4.5–5，PDF p. 5；Table 12，p. 17）

### 2.7 Simplex 是什么意义上的特例

若把语义距离换成平凡距离 $\rho(w,j)=[w\ne j]$，距离分数变成“正确词 0，其他词 $-1$”。设原 simplex 分数 $s_j^w$ 为正确词 $+k$、其他词 $-k$，则

$$
\mathbf s^w-k\mathbf1=2k\mathbf d^w.
$$

减去常数不改变 softmax，再匹配信号缩放，就可以得到同样的词表权重。这说明 **simplex 的表示空间是距离表示的特殊情形**；并不意味着原论文中两种方法的全部噪声调度、损失函数和采样实现也自动相同。（Appendix A，PDF p. 13）

## 三：实验——比较对象、预算与指标

### 3.1 数据与训练配置

| 数据集 | 生成任务 | 训练 / 验证 / 测试样本 | 最大输入 / 目标长度 |
| --- | --- | --- | --- |
| ROCStories | 无条件五句故事生成 | 93,161 / 4,000 / 1,000 | — / 80 |
| XSum | 新闻单句摘要 | 204,045 / 11,332 / 11,334 | 512 / 64 |
| Quasar-T | 给定文档生成问题 | 116,953 / 2,048 / 10,000 | 100 / 50 |
| QQP | 同义问题改写 | 119,410 / 14,926 / 14,927 | 50 / 50 |
| ParaDetox | 有毒评论转为中性表达 | 总计 19,766 对；此处未分列划分 | 40 / 40 |
| OpenWebText | 无条件开放域文本生成 | 附录未分列此实验的数据划分 | 目标长度 512 |

来源为 Appendix D、J、K，PDF pp. 15–17。正文对 QQP、Quasar-T 给了较粗略且与附录不完全一致的规模描述，这里采用附录的明确划分。

主要五个数据集共用 AdamW，学习率 $2\times10^{-4}$、warmup 5,000 步、随后恒定学习率，$\beta_1=0.9,\beta_2=0.98$、weight decay 0.01、梯度裁剪 1、EMA 0.9999。训练步数依次为 ROCStories 1M、XSum 225k、Quasar-T 150k、QQP 50k、ParaDetox 150k；batch size 除 Quasar-T 为 512 外均为 256。每 25,000 步存 checkpoint，按开发集表现选择。作者报告使用两张 80 GB A100，训练平均约 15 小时；生成没有使用 clamping 或 classifier-free guidance。（Appendix J，PDF pp. 16–17）

Table 12 列出的 Smoothie 生成步数为 200/200/100/100/100，ROCStories 使用 $\tilde\delta=1.1$，四个条件任务使用 0.1。OpenWebText 有自己的采样设置，见第四部分，不套用这张表。

### 3.2 Baseline 分别检验什么

| 比较组 | 代表方法 | 比较目的 |
| --- | --- | --- |
| 嵌入或潜空间扩散 | DiffuSeq、SeqDiffuSeq、AR-Diffusion、GENIE、TEncDM | 与既有连续文本扩散方法比较 |
| Simplex 扩散 | SSD-LM、随机初始化的 TESS | 检验带词表坐标的另一类连续表示 |
| Masked diffusion | 主实验 MDLM，OWT 附录 GIDD | 与离散遮罩扩散路线比较 |
| 自回归模型 | GPT-2、Transformer、BART、GPVAE-T5、FLAN-T5 | 给出质量参照 |
| 本文统一框架 | Embedding、Simplex、Smoothie | 减少架构与训练配置差异，比较扩散空间设计 |

主表混合使用既有报告值、原代码复现值和作者重新实现值，表注分别标识。跨论文结果不能理解成所有模型都经过同一套重新训练与调参。本文内部三种变体更接近受控比较：架构、主要训练参数和解码策略保持一致，但**调度随空间变化，Simplex 用交叉熵，Embedding 与 Smoothie 用 MSE**。因此这里比较的是扩散空间及其配套训练设计。（Sec. 5，PDF pp. 6–7）

### 3.3 指标怎样读

| 指标 | 衡量内容 | 方向与解释 |
| --- | --- | --- |
| BERTScore，BS | 生成与参考文本的语义匹配 | 越高越好；使用 `microsoft/deberta-xlarge-mnli` |
| BLEU、ROUGE-1/2/L | 与参考文本的 n-gram / 最长公共子序列重合 | 越高越好；与语义指标互补 |
| Generative PPL | 生成文本在评分语言模型下的困惑度 | 越低越好；不是 Smoothie 对测试语料的自身似然 |
| Div | 无条件生成的词汇多样性指标 | 越高表示更多变化，需要与 PPL、MAUVE 一起看 |
| D-1/4 | 条件生成的 unigram / 4-gram 多样性 | 与 ROCStories 表中的单一 Div 不是同一列指标 |
| MAUVE | 生成文本分布与参考分布的接近程度 | 越高越好；主表用 0–100 尺度展示 |
| J-Score | 流畅性、去毒风格准确性、内容保留的综合指标 | 越高越好；用于 ParaDetox |

ROCStories 的 MAUVE 计算用不同生成种子重复五次，每次 1,000 条生成文本，对比 1,000 条随机参考文本，再取平均。论文没有在这些结果旁给出方差；这里的五次是生成评估重复。正文也没有明确给出 generative PPL 的评分模型，因此不宜把不同语料上的 PPL 数值直接比较。（Sec. 5.1，PDF pp. 5–6）

### 3.4 时间预算如何匹配

| 方法 | 100 步总生成时间 / s | 报告的峰值显存 / MB |
| --- | --- | --- |
| Embedding | 1.642 | 593.3 |
| Simplex | 2.897 | 678.4 |
| Smoothie | 2.897 | 593.3 |

*原文 Table 2，PDF p. 6；计时配置见 p. 7：batch size 32，序列长度 80。*

Smoothie 每一步都要计算预测嵌入与整个词表的距离，复杂度为 $O(BmVd)$，与一个稠密词表输出头同阶。表中同样 100 步，Smoothie 约花费 Embedding 的 1.76 倍时间。作者据此在比较中给 Embedding **1.75 倍采样步数**，例如 Smoothie 的 200 步对应 Embedding 的 350 步，以近似对齐生成成本。这个倍数来自上述特定 batch/长度测量，不能自动当成所有运行条件下的精确时间比。

## 四：结果——逐项理解收益来自哪里

### 4.1 采样噪声决定流畅性与多样性的平衡

![图 2：反向噪声标准差对 ROCStories 的影响](figures/fig-02-sampling-noise.png)

*原文 Fig. 2，PDF p. 5；讨论在 Sec. 5.1，pp. 5–6。横轴为生成时的 $\tilde\delta$，蓝线读取左侧 Diversity 轴，红线读取右侧 PPL 轴；绿色虚线的 MAUVE 应读其数字标注，不能直接套用左右轴刻度。*

训练固定 $\delta=1$，但推理调 $\tilde\delta$。在 ROCStories 上，随着 $\tilde\delta$ 从 0.95 增至 1.20，多样性增加，PPL 也升高；MAUVE 则先升后降，在 1.10 达到 80.7，1.20 时掉到 46.1。因此只按最低 PPL 选采样噪声，会偏向变化不足的文本分布。

条件生成不需要同等强的额外随机性，因为不同输入本身已带来输出变化。Table 8 的 100 步搜索中，$\tilde\delta$ 从 1 降到 0.1，XSum BS 从 68.2 到 68.8，QQP BS 从 83.4 到 83.7，ParaDetox J-Score 从 50.9 到 51.7；Quasar-T BS 全部为 63.1。结果支持条件任务使用 0.1，但改变量明显小于无条件 MAUVE 曲线上的变化。（Appendix E，PDF p. 15）

### 4.2 主实验：ROCStories 的分布质量改善最明显

| 方法 | MAUVE ↑ | PPL ↓ | Div ↑ |
| --- | --- | --- | --- |
| GPT-2，自回归参照 | 78.9 | 20.5 | 25.2 |
| MDLM | 63.9 | 58.1 | 35.1 |
| TEncDM | 76.2 | 29.1 | 29.5 |
| Embedding，统一框架 | 41.5 | 28.3 | 26.1 |
| Simplex，统一框架 | 15.2 | 25.3 | 12.4 |
| **Smoothie** | **80.7** | **24.9** | **25.1** |

*原文 Table 4，PDF p. 8；此处选取关键比较行。*

相对 TEncDM，Smoothie 的 MAUVE 高 **4.5 个表中分数点**，PPL 低 4.2，但 Div 也低 4.4。这体现的是更有利的质量—多样性组合。相对内部 Embedding 基线，MAUVE 高 39.2 分，差异更大。GPT-2 的 PPL 仍更低，Smoothie 则在 MAUVE 上略高；“接近自回归质量”需要结合具体指标理解。

Simplex 的 PPL 25.3 看起来接近 Smoothie 的 24.9，MAUVE 却只有 15.2，Div 也明显较低。这是不能单独用 generative PPL 判断分布质量的直接例子。

### 4.3 XSum：ROUGE 的优势与 BERTScore 的差异

| 方法 | BS ↑ | ROUGE-1/2/L ↑ |
| --- | --- | --- |
| FLAN-T5，自回归参照 | 72.7 | 34.6 / 12.9 / 27.2 |
| TEncDM | **69.9** | 31.9 / 10.7 / 25.3 |
| Embedding | 68.2 | 32.1 / 10.1 / 24.6 |
| Simplex | 63.8 | 29.6 / 8.5 / 23.0 |
| **Smoothie** | 68.8 | **33.7 / 11.1 / 26.0** |

*原文 Table 3 左侧，PDF p. 7；粗体突出扩散方法中的关键比较。*

Smoothie 是该表扩散方法中的 ROUGE 最优，较内部 Embedding 的 R-L 提高 1.4 分，较 TEncDM 提高 0.7 分。不过其 BERTScore 比 TEncDM 低 1.1 分。最准确的解释是摘要词面覆盖改善，而不是所有语义指标同步领先。FLAN-T5 在表中这些指标上仍更强。

### 4.4 Quasar-T：BLEU 与语义匹配受益，R-L 不是最优

| 方法 | BS ↑ | BLEU ↑ | R-L ↑ |
| --- | --- | --- | --- |
| BART，自回归参照 | 66.2 | 17.4 | 38.8 |
| SSD-LM | 62.8 | 14.1 | **38.5** |
| TESS，随机初始化 | 60.8 | 19.0 | 36.1 |
| Embedding | 62.0 | 18.9 | 35.2 |
| Simplex | 63.0 | 19.3 | 36.9 |
| **Smoothie** | **63.1** | **19.9** | 36.5 |

*原文 Table 3 右侧，PDF p. 7。*

Smoothie 的 BS、BLEU 在所列扩散方法中最高，但相对 Simplex 的 BS 只高 0.1 分，R-L 还低 0.4 分。与 BART 比，它的 BLEU 更高，BS 与 R-L 更低，不能用一个统一排名替代这组差异。内部 Simplex 已超过 TESS 的 BS/BLEU/R-L，说明所用架构也是结果的重要组成部分。

### 4.5 QQP 与 ParaDetox：改善重点不同

| QQP 方法 | BS ↑ | BLEU ↑ | R-L ↑ | D-1/4 ↑ |
| --- | --- | --- | --- | --- |
| BART，自回归参照 | 85.7 | 30.4 | 61.4 | 98.8 / 61.0 |
| TEncDM | 83.8 | 30.7 | 57.3 | — |
| Embedding | 83.4 | **31.3** | 59.4 | 97.7 / 64.5 |
| Simplex | 80.6 | 26.8 | 54.9 | 96.8 / 64.8 |
| **Smoothie** | **83.9** | 30.8 | **60.9** | 98.4 / 60.5 |

QQP 中，Smoothie 对内部 Embedding 的 BS 和 R-L 有提升，BLEU 低 0.5 分，D-4 也较低。它的主要收益是语义匹配和序列重合程度，而非一切维度上的改进。

| ParaDetox 方法 | BLEU ↑ | J-Score ↑ |
| --- | --- | --- |
| GPT-2，自回归参照 | 67.7 | 60.4 |
| SeqDiffuSeq | 68.8 | 48.6 |
| TEncDM | 61.9 | 49.6 |
| Embedding | 67.6 | 49.1 |
| Simplex | 65.1 | 47.7 |
| **Smoothie** | **69.2** | **51.7** |

ParaDetox 中，Smoothie 在所列扩散方法的 BLEU 和 J-Score 上都领先，但 GPT-2 的 J-Score 仍高 8.7 分。词面相似度更高并不必然意味着风格转换的综合效果最好。

*上述两表来自原文 Table 4，PDF p. 8。主表 QQP 的 83.9 不宜直接标成“100 步结果”：Table 12 给 QQP 默认 100 步，但 Table 5 的 100 步 BS 是 83.7，83.9 对应其 25 步行。原文没有解释这项配置与数值差异。*

### 4.6 采样步数：更多迭代并不总是更好

| 步数 | XSum BS ↑ | Quasar-T BS ↑ | QQP BS ↑ | ParaDetox J ↑ |
| --- | --- | --- | --- | --- |
| 25 | 67.7 | 63.1 | **83.9** | 51.1 |
| 50 | 68.5 | 63.1 | 83.8 | 51.4 |
| 100 | 68.7 | 63.1 | 83.7 | **51.7** |
| 200 | **68.8** | 63.1 | 83.6 | 51.0 |
| 500 | 68.4 | 63.1 | 83.5 | 50.8 |

*Sec. 5.3，原文 Table 5，PDF p. 8。*

XSum 从 25 到 200 步提升 1.1 BS 分，之后回落；QQP 反而在 25 步最高；Quasar-T 的 BS 在表中精度下不变。作者把较多步数后的回落部分归因于自条件造成的训练—推理轨迹差异，这属于机制解释，而非该表直接隔离出的因果因素。实际启发是按任务选择步数，不能以“更多去噪一定更准”决定预算。

### 4.7 采样器：小幅稳定收益，但对照改变了前向方差

| Solver | XSum BS / R-L ↑ | Quasar-T BS / R-L ↑ | QQP BS / R-L ↑ | ParaDetox J ↑ |
| --- | --- | --- | --- | --- |
| DDPM | 68.5 / 25.6 | 62.8 / 35.5 | 83.7 / 60.7 | 51.5 |
| DDIM | 67.4 / 24.6 | 60.3 / 31.8 | 82.0 / 57.9 | 50.2 |
| Smoothie Eq. (9) | **68.8 / 26.0** | **63.1 / 36.5** | **83.9 / 60.9** | **51.7** |

*Sec. 5.4，原文 Table 6，PDF p. 8。*

相对 DDPM，改进通常较小，例如 XSum R-L +0.4、QQP R-L +0.2、ParaDetox J +0.2；相对 DDIM 差距更大。作者认为直接重建可以减少稀疏嵌入分布中的错误漂移。

对照实验为了适配 DDPM/DDIM，将前向边缘分布改成

$$
q(\mathbf D_t\mid\mathbf D_0)
=\mathcal N\!\left(\frac{\mathbf D_0}{\sigma_t^2},
\left(1-\frac1{\sigma_t^4}\right)\delta^2\mathbf I\right).
\tag{原文 11}
$$

它与默认 Eq. (3) 的固定方差不同，论文未逐项拆开这种适配的贡献。因此这组结果支持作者的采样设计，但不能简单视为完全不改训练分布、仅替换一个求解器的比较。

### 4.8 OpenWebText：更长序列上的收益较温和，且使用混合采样

| 方法 | MAUVE ↑ | PPL ↓ | Div ↑ |
| --- | --- | --- | --- |
| GIDD | 28.6 | 228.3 | **58.8** |
| Embedding | 55.7 | 51.9 | 21.2 |
| Smoothie，$\tilde\delta=0.96$ | 58.9 | **48.2** | 19.8 |
| Smoothie，$\tilde\delta=1.02$ | **59.9** | 62.2 | 23.4 |

*Appendix D，原文 Table 7，PDF p. 15。*

这里目标长度为 512。Smoothie 共 100 步，**前 40% 步用 DDPM，余下步骤用 Eq. (9)**；Embedding 使用 DDPM，步数为 175。这个设置是正文“所有实验使用 Eq. (9)”说法的明确例外。

Smoothie 最佳 MAUVE 比 Embedding 高 4.2 分，远小于 ROCStories 的 39.2 分差距。两个噪声设置还呈现清楚的取舍：0.96 的 PPL 更低，1.02 的 MAUVE、多样性更高。开放域结果支持方法可扩展到更长文本，但实际最优配置依赖语料和采样器组合。

### 4.9 嵌入、调度、自条件和训练动态

**嵌入来源决定了平滑几何是否有用。** ROCStories 上，BERT/GPT-2/GloVe 嵌入分别得到 MAUVE 80.7/64.4/36.8，PPL 24.9/23.1/36.4，Div 25.1/25.0/24.6。GPT-2 嵌入的 PPL 更好，却有较低 MAUVE。该消融同时改变嵌入来源与词表：GPT-2 约 50k，作者训练的 GloVe BPE 词表 10k，因此不能把全部差异单独归因于一个“嵌入质量”变量。（Appendix F，Table 9，PDF p. 15）

**调度影响每个时间段要学什么。** ROCStories 的调度 $d=4,5,6,7$ 分别得到 MAUVE 74.2、80.7、76.5、68.9；每个 $d$ 都重新选择了最佳 $\tilde\delta$。$d=5$ 在该搜索里最好，$d=7$ 的重构保持清晰更久，并不意味着最终分布最好。（Table 10，PDF p. 15）

![图 3：调度参数改变重构难度随时间的分布](figures/fig-03-noise-schedule.png)

*原文 Fig. 3，PDF p. 16。横轴是归一化 timestep；左图是重构损失，右图是非 padding token 的重构准确率；图例标记调度 $d=4,5,6,7$。较小 $d$ 的损失更早上升、准确率更早下降。图注提到训练时 $d=5$，图中则包含四个 $d$ 曲线，原文没有完整解释各曲线是否对应独立训练，宜把它用来说明腐蚀难度随调度变化。*

**自条件对 Smoothie 多数指标有帮助，但不是所有空间都同样受益。** 以下只在 Table 11 内比较有/无 SC：

| Smoothie 设置 | XSum BS / R-L | Quasar-T BS / BLEU / R-L | QQP BS / BLEU / R-L |
| --- | --- | --- | --- |
| 有自条件 | 68.8 / 26.0 | 63.0 / 19.0 / 35.8 | 83.9 / 30.8 / 60.9 |
| 无自条件 | 67.5 / 25.4 | 61.9 / 19.0 / 35.7 | 83.2 / 29.4 / 59.9 |

Smoothie 的 XSum BS 提高 1.3、QQP BLEU 提高 1.4；Quasar-T BLEU 不变。同表的 Embedding 在 Quasar-T 上却是无 SC 更好（BS 62.9 对 62.0）。此外，Table 11 的 Smoothie Quasar-T 行不同于主表的 63.1/19.9/36.5，原文没有给出足够信息将两表视为同一个运行配置。（Appendix G，Table 11，PDF p. 16）

![图 4：按训练时间比较 ROCStories 的 MAUVE](figures/fig-04-training-dynamics.png)

*原文 Fig. 4，PDF p. 16。横轴是训练时间（小时），纵轴为 0–1 尺度的 MAUVE；蓝/橙/绿分别是 Smoothie/Embedding/Simplex。注意它与主表 0–100 的展示尺度不同。*

曲线显示，起始阶段之后 Smoothie 在大部分绘制时段保持较高 MAUVE。评估时 Embedding 用 350 步，另两种用 200 步，以匹配前述近似生成预算。该图补充了最终 checkpoint 之外的训练过程证据。（Appendix I，PDF p. 16）

### 4.10 语义退化样例展示的是模型重构

Appendix L 的 Table 13 从低噪声到高噪声展示了人数、地名和情绪词先发生变化，随后语法结构破坏，最终出现大量高频词重复。例如人数由三个儿子变为一个儿子，地点在两个美国州之间替换。这里的文字是**对各时间点前向带噪状态做模型预测后再解码**得到的，不是把 $\mathbf p_t$ 直接逐位置抽样所得。因此它是平滑机制与训练后去噪模型共同作用的定性展示。（PDF p. 18）

## 五：结论——这篇论文值得带走什么

Smoothie 提供了一条具体的建模路径：先选择能表达类别关系的几何，再把这个几何变成整个词表上的平滑权重，最后用低维预测完成去噪。平方欧氏距离的特殊价值在于，距离回归的最优解可由嵌入条件均值恢复，差别只是一项可被 softmax 消去的行常数。这使表示设计、训练目标和词表解码形成了紧密联系。

实验最清楚的启发是，**采样随机性需要按任务目标调节**。无条件生成需要避免多样性不足；条件生成则可以用较低反向噪声换取更稳定的内容匹配。把 MAUVE、PPL 与多样性一起看，比单独比较一个数更能解释结果。

实际使用上的两个主要限制都来自方法本身。第一，固定预训练嵌入稳定了训练，却把几何质量锁定在既有表示中；若同时用 MSE 学嵌入，容易塌缩，加入其他目标又可能造成嵌入范数增长。第二，每一步仍要访问整个词表，低维网络输出没有消除 $O(BmVd)$ 的距离与加权计算成本；高噪声时权重较分散，也使简单最近邻截断不易保持精度。（Sec. 6，PDF pp. 8–9）

从本文证据出发，最值得继续研究的是：如何在稳定约束下学习更适合任务的嵌入几何，如何依据噪声阶段选择采样器，以及如何近似宽带宽下的全词表平滑而保持分布质量。作者提出向图和蛋白质等具有类别相似性的领域推广，但本文尚未提供这些领域的实验；更换距离度量后，也需要重新审视本文依赖平方欧氏距离的回归等价性。