Generation
扩散、流匹配与潜在空间中的语言生成。
NCM
Next-Concept Modeling: Fast, Parallel Coarse-to-Fine Text Generation
NCM以多尺度残差离散代码组织粗到细的并行文本生成,在多个任务以更少采样调用取得竞争质量和显著推理加速。
ClockDiffusion
Clock Diffusion: Efficient Semi-Autoregressive Continuous Diffusion Language Models
Clock Diffusion 用错开的局部去噪时钟与因果前缀缓存实现连续扩散的半自回归生成,Cache Grab 提前提交降低模型调用次数;SSD 需联合 AR 训练。
LangFlow
LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
LangFlow 以交叉熵后验匹配、信息均匀的 Gumbel 调度和自条件连接连续流与语言建模,在 130M 规模上达到强离散扩散的竞争水平,并提供 ODE 负对数似然上界。
Sigma
Large Language Continuous Diffusion Models
Sigma 将可学习低维连续扩散扩展到 3B/8B,以轨迹引导、球面正则化和蒸馏改善推理覆盖率与少步生成。
Smoothie
Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation
Smoothie 用词表嵌入距离构造语义平滑扩散,以嵌入 MSE 与重加噪采样改善生成质量,收益伴随随机性调节和全词表计算成本。
SEDD
Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
SEDD 用去噪 score entropy 学习离散概率比,将可扩展训练、似然上界与并行采样统一,吸收态版本在 GPT-2 规模文本建模中表现出竞争力。
MDM-LS
Masked Diffusion Models are Secretly Learned-Order Autoregressive Models
位置相关噪声调度将掩码扩散目标转为可学习顺序上的加权自回归损失,验证损失改善但表格生成质量收益混合。
CALM
Continuous Autoregressive Language Models
CALM以鲁棒潜表示和单步能量生成头实现块级语言生成,降低FLOPs;收益需结合离散反馈、温度采样成本与BrierLM适用条件理解。
Efficient-DLM
Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
Efficient-DLM 以干净前文的分块注意力和位置相关遮罩实现 AR 到扩散模型的转换,在小 batch 下改善并行生成的准确率与吞吐量取舍。
ELF-REG
ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
以教师表示对齐和全局状态联合去噪改善连续语言模型,并通过前缀早停在较低 NFE 下完成数学与代码任务。
FMLM-star
Self-conditioned Flow Map Language Models via Fixed-point Flows
将自条件解释为局部不动点迭代,分别蒸馏预测修正与流时间推进,改善单步及少步文本生成;在线方案降低蒸馏成本。
ELF
ELF: Embedded Language Flows
ELF 通过连续嵌入流与共享末端解码改善少步文本生成,渐进蒸馏进一步提速;效果需结合多样性、语义忠实度与训练成本解读。
CDLM
Consistent Diffusion Language Models
CDLM 利用精确后验桥实现单阶段跨噪声一致性训练,改善少步离散生成;收益需结合熵评价,效率报告采用 NFE。
LoopMDM
Looped Diffusion Language Models
LoopMDM以少量早中层共享循环改善掩码扩散模型的训练效率和质量,自适应停止减少循环开销;需区分训练与推理预算。
NCP-ArchPreview
NCP-ArchPreview Technical Report: Moving towards Latent Space Language Models through Next Concept Prediction
NCP-ArchPreview 在 8.94B/5.73T 规模联合预测 token 与概念,改善预训练效率并提供 17M 适配接口;中期训练的下游增益收窄且依赖任务。
ConceptLM
Next Concept Prediction in Discrete Latent Space Leads to Stronger Language Models
ConceptLM以分段码本和下一概念预测增强语言建模,小模型预训练收益较明显,8B增益有限;研读核对了公式与表格中的不一致。
没有找到匹配论文,试试其他关键词或标签。