DiffuRefill-1B：1.08B 掩码扩散语言模型预训练中
Hugging Face 上出现一个名为 DiffuRefill-1B 的 1.08B 参数掩码扩散语言模型预训练检查点，目前训练约进行到一半（约 10 万步 / 20 万步，约 460 亿有效 token）。该模型采用置信度定向重填充解码，整段序列约需 20 次并行去噪即可生成，而自回归模型每 token 需一次前向。训练通过 DiLoCo 在 3-5 台
全部 AI 动态
9月27日周日 · 2 条
Qwen3-4B-Base 模型卡上线 Hugging Face
Hugging Face 上出现了一个名为 ReliquaryForge/qwen3-4b-base-dapo-v4 的模型页面，内容为 Qwen3-4B-Base 的模型卡。该模型卡介绍了 Qwen3 系列在预训练语料、训练技术、三阶段预训练和超参数调优方面的改进，并给出 Qwen3-4B-Base 的 4.0B 参数、32k 上下文等规格。页面还提示需使