DiffuRefill-1B:1.08B 掩码扩散语言模型预训练中
Hugging Face 上出现一个名为 DiffuRefill-1B 的 1.08B 参数掩码扩散语言模型预训练检查点,目前训练约进行到一半(约 10 万步 / 20 万步,约 460 亿有效 token)。该模型采用置信度定向重填充解码,整段序列约需 20 次并行去噪即可生成,而自回归模型每 token 需一次前向。训练通过 DiLoCo 在 3-5 台
推荐理由这个1.08B掩码扩散检查点用置信度定向重填充,整段序列约20次并行去噪即可生成,而自回归每token需一次前向,对想试并行解码的研究者可省下自建成本。但训练仅到一半、事实性不可靠,且未报告任何公开基准分数,实际质量仍需自行验证。