读过的论文,
随时接着读。
中文精读笔记、原文与汇报幻灯片。按主题找论文,沿着公式与图表深入阅读。
LangFlow
LangFlow: Continuous Diffusion Rivals Discrete in Language Modeling
LangFlow 以交叉熵后验匹配、信息均匀的 Gumbel 调度和自条件连接连续流与语言建模,在 130M 规模上达到强离散扩散的竞争水平,并提供 ODE 负对数似然上界。
Sigma
Large Language Continuous Diffusion Models
Sigma 将可学习低维连续扩散扩展到 3B/8B,以轨迹引导、球面正则化和蒸馏改善推理覆盖率与少步生成。
Smoothie
Smoothie: Smoothing Diffusion on Token Embeddings for Text Generation
Smoothie 用词表嵌入距离构造语义平滑扩散,以嵌入 MSE 与重加噪采样改善生成质量,收益伴随随机性调节和全词表计算成本。
Puro-2B
Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
Puro-2B结合消费级GPU、FP8、MuonH与课程模型平均,在限定GPU成本口径下以约4.4K美元达到Qwen2综合分数,最佳6.9K美元模型保留后训练收益。
SEDD
Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution
SEDD 用去噪 score entropy 学习离散概率比,将可扩展训练、似然上界与并行采样统一,吸收态版本在 GPT-2 规模文本建模中表现出竞争力。
MDM-LS
Masked Diffusion Models are Secretly Learned-Order Autoregressive Models
位置相关噪声调度将掩码扩散目标转为可学习顺序上的加权自回归损失,验证损失改善但表格生成质量收益混合。
CALM
Continuous Autoregressive Language Models
CALM以鲁棒潜表示和单步能量生成头实现块级语言生成,降低FLOPs;收益需结合离散反馈、温度采样成本与BrierLM适用条件理解。
Efficient-DLM
Efficient-DLM: From Autoregressive to Diffusion Language Models, and Beyond in Speed
Efficient-DLM 以干净前文的分块注意力和位置相关遮罩实现 AR 到扩散模型的转换,在小 batch 下改善并行生成的准确率与吞吐量取舍。
ELF-REG
ELF-REG: Scaling Continuous Diffusion Language Models to Reasoning Tasks
以教师表示对齐和全局状态联合去噪改善连续语言模型,并通过前缀早停在较低 NFE 下完成数学与代码任务。
FMLM-star
Self-conditioned Flow Map Language Models via Fixed-point Flows
将自条件解释为局部不动点迭代,分别蒸馏预测修正与流时间推进,改善单步及少步文本生成;在线方案降低蒸馏成本。
ELF
ELF: Embedded Language Flows
ELF 通过连续嵌入流与共享末端解码改善少步文本生成,渐进蒸馏进一步提速;效果需结合多样性、语义忠实度与训练成本解读。
CDLM
Consistent Diffusion Language Models
CDLM 利用精确后验桥实现单阶段跨噪声一致性训练,改善少步离散生成;收益需结合熵评价,效率报告采用 NFE。
LoopMDM
Looped Diffusion Language Models
LoopMDM以少量早中层共享循环改善掩码扩散模型的训练效率和质量,自适应停止减少循环开销;需区分训练与推理预算。
REMORY
REMORY: Learning Residual Memory for Context Compaction
REMORY 以摘要条件软记忆补偿上下文压缩,改善来源归属与智能体决策;生成费用下降尚未计入记忆网络计算。
LAVO
Linear Attention via Orthogonal Memory
LAVO 用正交平均投影构造固定记忆,结合局部注意力实现线性扩展;长上下文困惑度稳定,但平均压缩限制历史细节与训练长度内精度。
PaTH
PaTH Attention: Position Encoding via Accumulating Householder Transformations
PaTH 将内容相关的 Householder 路径乘积引入 softmax attention,增强状态追踪;与 FoX 结合改善长上下文检索,转换收益依赖训练协议。
DAT
Delayed Attention Training Improves Length Generalization in Transformer--RNN Hybrids
DAT先训练循环路径再启用注意力,显著改善复合任务的长度泛化;三倍长度时五种混合结构中四种准确率超过90%。
DAMP
DAMP: Decay-Aware Mixed-Precision Recurrent-State Quantization
DAMP 结合局部量化误差与未来衰减保留程度选择 FP16 通道,其余状态用 INT8 存储,以约 9.9 bits 保持接近 FP32 的准确率并降低推理开销。
LengthGen
Understanding and Improving Length Generalization in Recurrent Models
通过初态干预扩展训练状态覆盖,以低预算后训练缓解循环模型的长度外失效,并区分稳定困惑度与远距离任务能力。
SelectiveRoPE
Selective Rotary Position Embedding
Selective RoPE 用输入相关的累计旋转补充遗忘门,改善合成召回与状态追踪,语言建模收益依架构与规模而异。
没有找到匹配论文,试试其他关键词或标签。