Speaker: 胡天阳，香港中文大学（深圳）数据科学学院

Title: 扩散式语言建模探索：从掩码扩散到连续扩散

Language: Chinese

Time & Venue: 2026.10.19 10:00-11:00 南楼N202

Abstract: 自回归建模是当前大语言模型的主流范式，而扩散模型为语言建模与生成提供了一条不同的研究路径。本报告介绍我们从掩码扩散到连续扩散的一系列探索，讨论这一路径的潜力、局限与关键设计问题。首先，通过解耦建模范式与网络架构，重新审视掩码扩散与自回归建模的比较，并探讨潜变量方法如何缓解少步并行采样中的依赖建模不足。随后，我们转向连续扩散语言模型，围绕预训练与生成两个环节，探索适配连续去噪过程的算法与 Transformer 架构设计，并重点介绍面向单步与少步生成的蒸馏研究。这些工作关注连续空间预测与离散 token 生成之间的关系，以及如何在降低预测不确定性的同时保留样本多样性。报告将结合这些探索，讨论扩散式语言建模的设计思路与尚待解决的问题。