Smoothie：在 token 嵌入上平滑扩散的中文精读笔记

论文：Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation
作者：Alexander Shabalin、Viacheslav Meshchaninov、Dmitry Vetrov
版本：arXiv:2505.18853v2，2026-05-15 修订；首次提交于 2025-05-24。
研读日期：2026-10-14。文中页码均为从 1 开始的 PDF 页码，与本版本印刷页码一致。
材料：arXiv v2 · 本地原文 PDF · 英文汇报 PDF · 可编辑 TeX · 作者代码链接

论文总览

Smoothie 研究的问题是：怎样让文本扩散既利用词义之间的远近，又始终保留通向离散 token 的明确接口？ 作者为每个 token 建立一个长度为词表大小的向量，其中每一项是它与一个词表嵌入的负平方距离。扩散时逐渐缩小距离分数的幅度，再叠加高斯噪声；经过 softmax，原本集中在目标 token 附近的权重逐渐扩散，模型看到的是这些权重对词表嵌入的加权平均。

去噪网络只预测一个低维嵌入，训练使用均方误差（MSE）。论文证明，在平方欧氏距离下，最优的“距离向量预测”与“先预测平均嵌入、再计算距离”只相差一个对词表各项相同的平移，因此二者产生相同的 softmax 权重。采样时，模型反复执行“预测干净嵌入 → 重建距离 → 按更低噪声水平重新加噪”。

主要实证结果是：在约 100M 参数的任务级模型上，Smoothie 改善了多项生成指标。ROCStories 无条件生成的 MAUVE 达到 80.7，高于 TEncDM 的 76.2 和本文统一框架中的 Embedding 基线 41.5；XSum 的 ROUGE-1/2/L 为 33.7/11.1/26.0。这些收益伴随全词表计算成本，而且并非所有指标都领先：例如 XSum 的 BERTScore 低于 TEncDM，QQP 的 BLEU 低于本文 Embedding 基线。论文更有说服力的贡献，是展示了扩散空间的语义几何、去噪目标和采样随机性可以联合设计。（Sec. 4–5，PDF pp. 3–8，Tables 3–4）

结构地图

一：动机——为什么需要新的扩散空间

1.1 三种表示分别保留了什么

嵌入扩散在 $d$ 维连续空间里给 token embedding 加高斯噪声。相近的嵌入较早变得难以区分，因而腐蚀过程能利用语义几何；但网络生成的连续向量未必正好落在一个词表嵌入上，需要舍入或额外解码器。

Simplex 扩散为词表中的每个候选 token 保留一个分数。以 TESS/SSD-LM 的表示为例，真实 token 的分数为 $+k$，其他候选都为 $-k$。它天然保留了词表坐标，然而所有错误候选在干净表示中都处于同一地位：“近义词”和“不相关词”没有几何差异。

Smoothie 保留词表分数向量，同时用嵌入距离替代相同的错误候选分数。这里所谓“考虑离散性”，具体指每一维对应一个可输出 token、最后可以按分数选词；中间状态依然是连续变量。（Sec. 1–4.1，PDF pp. 1–4）

原文 Fig. 1，PDF p. 2。黑点表示词表嵌入，蓝圈标记所考察的 token；右侧颜色表示词表权重。先看左上 a 的嵌入扰动，再比较右上 b 与右下 c：simplex 的权重扩散不依赖词间距离，而 smoothing 先把权重分给邻近嵌入。该图是作者的方法示意。

1.2 创新应如何定位

论文把平滑扩散思想引入词表几何，主要新意落在三处：距离形式的状态表示、允许低维嵌入回归的平方距离恒等式，以及直接对预测结果重新加噪的采样更新。相关工作已经探索过按语义关系替换 token 的离散扩散，论文自己也讨论了 D3PM。因此，不能把贡献理解为“首次让文本扩散使用语义信息”。

它依赖的关键假设是：所选固定嵌入中的欧氏距离能够表达有用的语义相似性。 这会直接影响前向任务的难度和回归目标的意义，也解释了为什么更换嵌入会显著改变最终质量。（Sec. 3–4，PDF pp. 3–4；Appendix F，p. 15）

二：方法——从距离向量到文本生成

2.1 符号与数据流

整个计算链条是：

网络在形式上记为 $f_\theta(\mathbf p_t,t)$，实际输入是低维的 $\mathbf p_t\mathbf E$；它并不把完整的 $m\times V$ 分数矩阵作为 Transformer 隐藏状态。（Sec. 5，PDF p. 5）

2.2 前向过程：减少距离差异，而非不断增大噪声方差

对第 $i$ 个目标 token 与第 $j$ 个词表 token，定义

目标 token 自身的分数为 0，其他分数不大于 0。相似 token 的分数较接近 0，较远 token 的分数更负；若存在完全相同的嵌入，则可能出现并列最大值。

作者定义的前向联合分布为

亦即可以直接采样

给定干净数据，各噪声时刻独立采样；这里不是逐步由 $\mathbf D_{t-1}$ 加噪得到 $\mathbf D_t$ 的马尔可夫链。训练中 $\delta=1$ 不随时间变，信息逐渐减少主要来自 $1/\sigma_t^2$ 衰减，使信号相对于固定噪声越来越弱。（Sec. 4.1，PDF pp. 3–4）

接着计算

暂时去掉随机扰动，一行权重为

这正是高斯核平滑的归一化权重，$\sigma_t$ 是核带宽。加上原方法的噪声后，每项还乘有 $\exp(\delta\varepsilon_{ij})$，因此是带随机扰动的核权重。无噪声时 $\sigma\to\infty$ 使权重趋于均匀；保留噪声时极限为 $\operatorname{softmax}(\delta\boldsymbol\varepsilon)$，其特点是失去目标 token 信息，而非每次采样都严格均匀。

教学例子。 假设目标词、近邻词、远邻词相对于目标嵌入的平方距离分别为 $0,4,36$，忽略随机噪声，则：

这个人为构造的小例子说明：带宽较小时，目标词与近邻词先发生混合，远邻词需要更大的带宽才占有明显权重。它不对应论文中任何真实词的测量。

2.3 为什么可以只预测嵌入：Theorem 4.1

直接回归 $V$ 维距离分数的目标为

作者最终使用的是低维嵌入 MSE：

下面把 Appendix C 的证明写成显式条件期望。固定一个位置，令 $U$ 为其真实嵌入，$Z$ 为模型观测的噪声输入、时间及条件，$\mu=\mathbb E[U\mid Z]$。平方损失的最优预测就是条件均值，因此

第二项对候选词 $j$ 完全相同，所以

这给出了方法的关键连接：不必为每个候选词分别学一个最佳距离，预测真实嵌入的条件均值就足以恢复相同的最佳 softmax 权重。证明中的“常数”应理解为固定观测与位置后，对词表维度恒定的行平移；它可以随观测和位置变化。恒等式针对平方欧氏距离和最优回归函数，不是任意有限网络的两种训练损失都完全等价。（Theorem 4.1，PDF p. 4；Appendix C，p. 14）

2.4 从变分目标到简化损失

论文先把 $-\log p_\theta(\mathbf D_0)$ 上界化为末端先验项、各时间步的高斯 KL 项和重构项。固定高斯方差后，模型相关部分是均值差的平方。将均值表示成“预测干净距离，再按时间缩放”，并去掉时间相关权重，得到上面的 $L_{\mathbf D}$。因此，实际训练使用的是简化的去噪回归目标，而非逐项保留权重的原始变分界。（Sec. 4.2，PDF p. 4；Appendix B，pp. 13–14）

这里有一处会影响公式实现的索引不一致：按 Eq. (3)，当反向转移是 $t\to t-1$ 时，KL 中 $q(\mathbf D_{t-1}\mid\mathbf D_0)$ 的均值应为 $\mathbf D_0/\sigma_{t-1}^2$；正文 Eq. (6) 和附录 Eq. (23) 却写成 $\sigma_t^2$。采样 Eq. (9) 使用的是 $\sigma_{t-1}^2$。另外 Algorithm 1 将前向采样写成 $\mathbf D_t=\mathbf D_t/\sigma_t^2+\delta\varepsilon$，右侧干净输入应按 Eq. (3) 读作 $\mathbf D_0$。本笔记的计算说明采用 Eq. (3) 与 Eq. (9) 的一致索引。

2.5 反向过程：预测后重建，不直接搬运当前噪声状态

初始化为

每轮先预测嵌入，再更新

下一轮重新取 $\mathbf p_{t-1}=\operatorname{softmax}(\mathbf D_{t-1})$。与通常保留当前带噪状态的 DDPM/DDIM 更新相比，这个式子不额外加入 $\mathbf D_t$ 的显式残差项。它仍通过网络输入 $\mathbf p_t$ 依赖当前状态，而且实际模型还有自条件历史，因而不能解释成“生成过程没有记忆”。

Algorithm 2 最终对最后的分数按词表维度取 argmax，并去掉 padding token。若分数取自干净距离 $\mathbf D_0(\widehat{\mathbf E})$，argmax 就是最近嵌入解码；严格按 Eq. (9) 的最终带噪状态解码时，还要保留其中的 $\tilde\delta\varepsilon$ 项。该方法的“自然解码”来自固定词表坐标及其距离分数，不需要另训练一个文本解码器。（Sec. 4.2，PDF p. 4，Alg. 2）

2.6 调度、自条件和条件生成

带宽调度为

主实验设 $\sigma_{\min}=1.5$、$\sigma_{\max}=200$、$\delta=1$。这里的 $d$ 是调度形状参数，取 5 或 7，与嵌入维度使用了同一个字母，应按上下文区分。 固定时间比例下，更小的调度 $d$ 产生更大带宽，即更强腐蚀。设计目标是让不同时间段的预测难度分配更合理；附录用重构损失和准确率随时间的曲线进行检查。（Sec. 4.3，PDF pp. 4–5）

自条件（self-conditioning）训练时，以 50% 概率把辅助输入设为零；其余时候先做一次无自条件预测，再以停止梯度的预测作为辅助输入。生成的第一步用零，后续步骤用上一轮的干净嵌入预测。训练中的辅助预测发生在同一噪声输入上，推理中的辅助预测来自上一去噪时刻。（Sec. 4.4，PDF p. 5）

网络采用 12 层、隐藏维度 768、12 个注意力头的 Transformer，并加入 U-Net 风格的跨层相加：第一层输出连到最后一层输入，第二层连到倒数第二层，以此类推。时间嵌入加入各 Transformer 块。条件生成另用 6 层 Transformer encoder 编码 $\mathbf w^x$，通过交叉注意力送入去噪网络。固定嵌入取自 BERT，并归一化到零均值、单位方差；可训练去噪网络按任务从头训练，所以整个流程仍使用了预训练嵌入提供的先验。短序列补齐到设定长度，模型同时学习 padding；目标最大长度约覆盖训练集的第 99 百分位。（Sec. 4.5–5，PDF p. 5；Table 12，p. 17）

2.7 Simplex 是什么意义上的特例

若把语义距离换成平凡距离 $\rho(w,j)=[w\ne j]$，距离分数变成“正确词 0，其他词 $-1$”。设原 simplex 分数 $s_j^w$ 为正确词 $+k$、其他词 $-k$，则

减去常数不改变 softmax，再匹配信号缩放，就可以得到同样的词表权重。这说明 simplex 的表示空间是距离表示的特殊情形；并不意味着原论文中两种方法的全部噪声调度、损失函数和采样实现也自动相同。（Appendix A，PDF p. 13）

三：实验——比较对象、预算与指标

3.1 数据与训练配置

来源为 Appendix D、J、K，PDF pp. 15–17。正文对 QQP、Quasar-T 给了较粗略且与附录不完全一致的规模描述，这里采用附录的明确划分。

主要五个数据集共用 AdamW，学习率 $2\times10^{-4}$、warmup 5,000 步、随后恒定学习率，$\beta_1=0.9,\beta_2=0.98$、weight decay 0.01、梯度裁剪 1、EMA 0.9999。训练步数依次为 ROCStories 1M、XSum 225k、Quasar-T 150k、QQP 50k、ParaDetox 150k；batch size 除 Quasar-T 为 512 外均为 256。每 25,000 步存 checkpoint，按开发集表现选择。作者报告使用两张 80 GB A100，训练平均约 15 小时；生成没有使用 clamping 或 classifier-free guidance。（Appendix J，PDF pp. 16–17）

Table 12 列出的 Smoothie 生成步数为 200/200/100/100/100，ROCStories 使用 $\tilde\delta=1.1$，四个条件任务使用 0.1。OpenWebText 有自己的采样设置，见第四部分，不套用这张表。

3.2 Baseline 分别检验什么

主表混合使用既有报告值、原代码复现值和作者重新实现值，表注分别标识。跨论文结果不能理解成所有模型都经过同一套重新训练与调参。本文内部三种变体更接近受控比较：架构、主要训练参数和解码策略保持一致，但调度随空间变化，Simplex 用交叉熵，Embedding 与 Smoothie 用 MSE。因此这里比较的是扩散空间及其配套训练设计。（Sec. 5，PDF pp. 6–7）

3.3 指标怎样读

ROCStories 的 MAUVE 计算用不同生成种子重复五次，每次 1,000 条生成文本，对比 1,000 条随机参考文本，再取平均。论文没有在这些结果旁给出方差；这里的五次是生成评估重复。正文也没有明确给出 generative PPL 的评分模型，因此不宜把不同语料上的 PPL 数值直接比较。（Sec. 5.1，PDF pp. 5–6）

3.4 时间预算如何匹配

原文 Table 2，PDF p. 6；计时配置见 p. 7：batch size 32，序列长度 80。

Smoothie 每一步都要计算预测嵌入与整个词表的距离，复杂度为 $O(BmVd)$，与一个稠密词表输出头同阶。表中同样 100 步，Smoothie 约花费 Embedding 的 1.76 倍时间。作者据此在比较中给 Embedding 1.75 倍采样步数，例如 Smoothie 的 200 步对应 Embedding 的 350 步，以近似对齐生成成本。这个倍数来自上述特定 batch/长度测量，不能自动当成所有运行条件下的精确时间比。

四：结果——逐项理解收益来自哪里

4.1 采样噪声决定流畅性与多样性的平衡

原文 Fig. 2，PDF p. 5；讨论在 Sec. 5.1，pp. 5–6。横轴为生成时的 $\tilde\delta$，蓝线读取左侧 Diversity 轴，红线读取右侧 PPL 轴；绿色虚线的 MAUVE 应读其数字标注，不能直接套用左右轴刻度。

训练固定 $\delta=1$，但推理调 $\tilde\delta$。在 ROCStories 上，随着 $\tilde\delta$ 从 0.95 增至 1.20，多样性增加，PPL 也升高；MAUVE 则先升后降，在 1.10 达到 80.7，1.20 时掉到 46.1。因此只按最低 PPL 选采样噪声，会偏向变化不足的文本分布。

条件生成不需要同等强的额外随机性，因为不同输入本身已带来输出变化。Table 8 的 100 步搜索中，$\tilde\delta$ 从 1 降到 0.1，XSum BS 从 68.2 到 68.8，QQP BS 从 83.4 到 83.7，ParaDetox J-Score 从 50.9 到 51.7；Quasar-T BS 全部为 63.1。结果支持条件任务使用 0.1，但改变量明显小于无条件 MAUVE 曲线上的变化。（Appendix E，PDF p. 15）

4.2 主实验：ROCStories 的分布质量改善最明显

原文 Table 4，PDF p. 8；此处选取关键比较行。

相对 TEncDM，Smoothie 的 MAUVE 高 4.5 个表中分数点，PPL 低 4.2，但 Div 也低 4.4。这体现的是更有利的质量—多样性组合。相对内部 Embedding 基线，MAUVE 高 39.2 分，差异更大。GPT-2 的 PPL 仍更低，Smoothie 则在 MAUVE 上略高；“接近自回归质量”需要结合具体指标理解。

Simplex 的 PPL 25.3 看起来接近 Smoothie 的 24.9，MAUVE 却只有 15.2，Div 也明显较低。这是不能单独用 generative PPL 判断分布质量的直接例子。

4.3 XSum：ROUGE 的优势与 BERTScore 的差异

原文 Table 3 左侧，PDF p. 7；粗体突出扩散方法中的关键比较。

Smoothie 是该表扩散方法中的 ROUGE 最优，较内部 Embedding 的 R-L 提高 1.4 分，较 TEncDM 提高 0.7 分。不过其 BERTScore 比 TEncDM 低 1.1 分。最准确的解释是摘要词面覆盖改善，而不是所有语义指标同步领先。FLAN-T5 在表中这些指标上仍更强。

4.4 Quasar-T：BLEU 与语义匹配受益，R-L 不是最优

原文 Table 3 右侧，PDF p. 7。

Smoothie 的 BS、BLEU 在所列扩散方法中最高，但相对 Simplex 的 BS 只高 0.1 分，R-L 还低 0.4 分。与 BART 比，它的 BLEU 更高，BS 与 R-L 更低，不能用一个统一排名替代这组差异。内部 Simplex 已超过 TESS 的 BS/BLEU/R-L，说明所用架构也是结果的重要组成部分。

4.5 QQP 与 ParaDetox：改善重点不同

QQP 中，Smoothie 对内部 Embedding 的 BS 和 R-L 有提升，BLEU 低 0.5 分，D-4 也较低。它的主要收益是语义匹配和序列重合程度，而非一切维度上的改进。

ParaDetox 中，Smoothie 在所列扩散方法的 BLEU 和 J-Score 上都领先，但 GPT-2 的 J-Score 仍高 8.7 分。词面相似度更高并不必然意味着风格转换的综合效果最好。

上述两表来自原文 Table 4，PDF p. 8。主表 QQP 的 83.9 不宜直接标成“100 步结果”：Table 12 给 QQP 默认 100 步，但 Table 5 的 100 步 BS 是 83.7，83.9 对应其 25 步行。原文没有解释这项配置与数值差异。

4.6 采样步数：更多迭代并不总是更好

Sec. 5.3，原文 Table 5，PDF p. 8。

XSum 从 25 到 200 步提升 1.1 BS 分，之后回落；QQP 反而在 25 步最高；Quasar-T 的 BS 在表中精度下不变。作者把较多步数后的回落部分归因于自条件造成的训练—推理轨迹差异，这属于机制解释，而非该表直接隔离出的因果因素。实际启发是按任务选择步数，不能以“更多去噪一定更准”决定预算。

4.7 采样器：小幅稳定收益，但对照改变了前向方差

Sec. 5.4，原文 Table 6，PDF p. 8。

相对 DDPM，改进通常较小，例如 XSum R-L +0.4、QQP R-L +0.2、ParaDetox J +0.2；相对 DDIM 差距更大。作者认为直接重建可以减少稀疏嵌入分布中的错误漂移。

对照实验为了适配 DDPM/DDIM，将前向边缘分布改成

它与默认 Eq. (3) 的固定方差不同，论文未逐项拆开这种适配的贡献。因此这组结果支持作者的采样设计，但不能简单视为完全不改训练分布、仅替换一个求解器的比较。

4.8 OpenWebText：更长序列上的收益较温和，且使用混合采样

Appendix D，原文 Table 7，PDF p. 15。

这里目标长度为 512。Smoothie 共 100 步，前 40% 步用 DDPM，余下步骤用 Eq. (9)；Embedding 使用 DDPM，步数为 175。这个设置是正文“所有实验使用 Eq. (9)”说法的明确例外。

Smoothie 最佳 MAUVE 比 Embedding 高 4.2 分，远小于 ROCStories 的 39.2 分差距。两个噪声设置还呈现清楚的取舍：0.96 的 PPL 更低，1.02 的 MAUVE、多样性更高。开放域结果支持方法可扩展到更长文本，但实际最优配置依赖语料和采样器组合。

4.9 嵌入、调度、自条件和训练动态

嵌入来源决定了平滑几何是否有用。 ROCStories 上，BERT/GPT-2/GloVe 嵌入分别得到 MAUVE 80.7/64.4/36.8，PPL 24.9/23.1/36.4，Div 25.1/25.0/24.6。GPT-2 嵌入的 PPL 更好，却有较低 MAUVE。该消融同时改变嵌入来源与词表：GPT-2 约 50k，作者训练的 GloVe BPE 词表 10k，因此不能把全部差异单独归因于一个“嵌入质量”变量。（Appendix F，Table 9，PDF p. 15）

调度影响每个时间段要学什么。 ROCStories 的调度 $d=4,5,6,7$ 分别得到 MAUVE 74.2、80.7、76.5、68.9；每个 $d$ 都重新选择了最佳 $\tilde\delta$。$d=5$ 在该搜索里最好，$d=7$ 的重构保持清晰更久，并不意味着最终分布最好。（Table 10，PDF p. 15）

原文 Fig. 3，PDF p. 16。横轴是归一化 timestep；左图是重构损失，右图是非 padding token 的重构准确率；图例标记调度 $d=4,5,6,7$。较小 $d$ 的损失更早上升、准确率更早下降。图注提到训练时 $d=5$，图中则包含四个 $d$ 曲线，原文没有完整解释各曲线是否对应独立训练，宜把它用来说明腐蚀难度随调度变化。

自条件对 Smoothie 多数指标有帮助，但不是所有空间都同样受益。 以下只在 Table 11 内比较有/无 SC：

Smoothie 的 XSum BS 提高 1.3、QQP BLEU 提高 1.4；Quasar-T BLEU 不变。同表的 Embedding 在 Quasar-T 上却是无 SC 更好（BS 62.9 对 62.0）。此外，Table 11 的 Smoothie Quasar-T 行不同于主表的 63.1/19.9/36.5，原文没有给出足够信息将两表视为同一个运行配置。（Appendix G，Table 11，PDF p. 16）

原文 Fig. 4，PDF p. 16。横轴是训练时间（小时），纵轴为 0–1 尺度的 MAUVE；蓝/橙/绿分别是 Smoothie/Embedding/Simplex。注意它与主表 0–100 的展示尺度不同。

曲线显示，起始阶段之后 Smoothie 在大部分绘制时段保持较高 MAUVE。评估时 Embedding 用 350 步，另两种用 200 步，以匹配前述近似生成预算。该图补充了最终 checkpoint 之外的训练过程证据。（Appendix I，PDF p. 16）

4.10 语义退化样例展示的是模型重构

Appendix L 的 Table 13 从低噪声到高噪声展示了人数、地名和情绪词先发生变化，随后语法结构破坏，最终出现大量高频词重复。例如人数由三个儿子变为一个儿子，地点在两个美国州之间替换。这里的文字是对各时间点前向带噪状态做模型预测后再解码得到的，不是把 $\mathbf p_t$ 直接逐位置抽样所得。因此它是平滑机制与训练后去噪模型共同作用的定性展示。（PDF p. 18）

五：结论——这篇论文值得带走什么

Smoothie 提供了一条具体的建模路径：先选择能表达类别关系的几何，再把这个几何变成整个词表上的平滑权重，最后用低维预测完成去噪。平方欧氏距离的特殊价值在于，距离回归的最优解可由嵌入条件均值恢复，差别只是一项可被 softmax 消去的行常数。这使表示设计、训练目标和词表解码形成了紧密联系。

实验最清楚的启发是，采样随机性需要按任务目标调节。无条件生成需要避免多样性不足；条件生成则可以用较低反向噪声换取更稳定的内容匹配。把 MAUVE、PPL 与多样性一起看，比单独比较一个数更能解释结果。

实际使用上的两个主要限制都来自方法本身。第一，固定预训练嵌入稳定了训练，却把几何质量锁定在既有表示中；若同时用 MSE 学嵌入，容易塌缩，加入其他目标又可能造成嵌入范数增长。第二，每一步仍要访问整个词表，低维网络输出没有消除 $O(BmVd)$ 的距离与加权计算成本；高噪声时权重较分散，也使简单最近邻截断不易保持精度。（Sec. 6，PDF pp. 8–9）

从本文证据出发，最值得继续研究的是：如何在稳定约束下学习更适合任务的嵌入几何，如何依据噪声阶段选择采样器，以及如何近似宽带宽下的全词表平滑而保持分布质量。作者提出向图和蛋白质等具有类别相似性的领域推广，但本文尚未提供这些领域的实验；更换距离度量后，也需要重新审视本文依赖平方欧氏距离的回归等价性。