上海交大邓志杰：扩散语言模型如何又快又好

AI 摘要

上海交通大学副教授邓志杰在CNCC 2026上系统梳理了扩散语言模型在保证生成质量的同时提升生成速度的方法，涵盖LLaDA、Dream等基础路线，以及跨块并行生成（D2F、MultiBD）、后训练（CForce、LightningRL）和推理系统优化（Fast-dLLM、LoPA）。他提出应结合每轮提交token数（TPF）与每轮耗时（TPS）及正确率来评价效率，并介绍了这些方法在流式视频、语音修复、多模态与智能体中的应用探索。

正文节选

0 作者丨张璐 编辑丨张驰 写作往往伴随着整体构思、局部推敲和反复修改。一句话中的用词，既取决于前文，也可能受到后文的影响。由此出发，语言模型的生成过程，是否也可以在多个位置同时展开，再逐步补全文本？ 在前不久的CNCC 2026上，上海交通大学副教授邓志杰以“扩散大语言模型方法及应用”为题，围绕一个核心问题展开讨论：能否在保证生成质量的同时，让扩散语言模型生成得更快？ 从LLaDA、Dream的基础路线，到跨块并行生成、后训练和推理系统优化，邓志杰梳理了将并行潜力转化为实际速度的多种方法。 他强调，评价效率既要看每轮能够生成多少token，也要计入每轮耗时，并结合答案正确率、代码通过率考察生成质量。演讲最后，他介绍了相关方法在流式视频、语音修复、多模态与智能体中的应用探索。雷峰网(公众号：雷峰网) 以下为演讲主要内容。 我们写一本书，往往先写一遍，再反复重写。修改前面的内容时，会联系后面的章节；推敲“僧推月下门”还是“僧敲月下门”，也需要结合上下文。这说明，创作文本并不一定严格遵循从左到右的顺序。 扩散语言模型把这种想法付诸实践：同时预测多个缺失位置，逐步补全文本。这次分享主要讨论，

发布时间：2026-11-05 13:44

抓取时间：2026-11-05 16:17

来源机构：雷峰网