JIRU-W 发布无辅助损失上采样 32 专家 MoE 研究检查点
原标题：JIRU-W/upcycle_dense15000_e32top8_noaux_rewarm200
AI 摘要
研究者 JIRU-W 在 Hugging Face 发布了一个研究用 MoE 检查点：将稠密模型 dense_e1_seq2048_gbs128_10b 第 15000 步的 SwiGLU MLP 逐层复制为 32 专家、top-8 路由的 MoE，并在不使用负载均衡损失的情况下继续训练，以研究相同专家能否分化。训练仍在进行（约 3.79 万/3.81 万步），已公开 step37000 等检查点，评测交叉熵从 step29000 的 2.9067 降至 step37000 的 2.8410。该模型为小型研究模型，未做指令微调。
正文节选
--- license: apache-2.0 library_name: transformers pipeline_tag: text-generation tags: [mixture-of-experts, moe, upcycling, olmoe, research] datasets: [JIRU-W/olmoe-mix-0924-10b] base_model: JIRU-W/dense_e1_seq2048_gbs128_10b --- # upcycle_dense15000_e32top8_noaux_rewarm200 Research checkpoints of a **naively upcycled** Mixture-of-Experts model, released to study whether identical experts can differentiate. The dense model [JIRU-W/dense_e1_seq2048_gbs128_10b](https://huggingface.co/JIRU-W/dens