返回全部动态
DiffuRefill-1B：1.08B 掩码扩散语言模型预训练中
原标题：Asilarkness/DiffuRefill-1B
AI 摘要
Hugging Face 上出现一个名为 DiffuRefill-1B 的 1.08B 参数掩码扩散语言模型预训练检查点，目前训练约进行到一半（约 10 万步 / 20 万步，约 460 亿有效 token）。该模型采用置信度定向重填充解码，整段序列约需 20 次并行去噪即可生成，而自回归模型每 token 需一次前向。训练通过 DiLoCo 在 3-5 台单 GPU 机器上同步进行，作者称其英语流畅但事实性仍不可靠，尚未做指令微调。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- license: apache-2.0 language: - en datasets: - openbmb/Ultra-FineWeb-L3 - wikimedia/wikipedia - HuggingFaceTB/finemath - HuggingFaceTB/smollm-corpus - OpenCoder-LLM/opc-annealing-corpus tags: - diffusion-language-model - masked-diffusion - parallel-decoding - diloco - text-generation pipeline_tag: text-generation --- <p align="center"><img src="assets/avatar.svg" width="200" alt="DiffuRefill-1B"></p> # DiffuRefill-1B **Status: pretraining, about half way.** Step ~100k of 200k, ~46B effect
发布时间：2026-09-27 04:53
抓取时间：2026-09-19 20:59
来源机构：Hugging Face