score-matching

SEDD

Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

SEDD 用去噪 score entropy 学习离散概率比，将可扩展训练、似然上界与并行采样统一，吸收态版本在 GPT-2 规模文本建模中表现出竞争力。