JIRU-W 发布逐层负载均衡损失的 3.7B MoE 研究模型
原标题：JIRU-W/e32_top8_seq2048_gbs128_10b_perlayeraux
AI 摘要
研究者 JIRU-W 在 Hugging Face 发布了一个从零训练的 3.7B 参数 MoE 语言模型，使用 10B token 的 OLMoE 数据，唯一改动是将负载均衡损失改为逐层计算并取平均（router_aux_loss_per_layer=True），其余代码、数据、种子和超参与对照模型完全一致。该模型基于 OLMoE 架构，共 16 层、每层 32 个专家、top-8 路由，训练仍在进行中（约 19892/38139 步），已公开 step19000 等检查点及评测交叉熵。这是一个小型研究模型，未做指令微调，主要用于对比不同负载均衡损失实现方式的影响。
正文节选
--- license: apache-2.0 library_name: transformers pipeline_tag: text-generation tags: [mixture-of-experts, moe, olmoe, load-balancing, pretraining, research] datasets: [JIRU-W/olmoe-mix-0924-10b] --- # e32_top8_seq2048_gbs128_10b_perlayeraux A 3.7B-parameter (total) Mixture-of-Experts language model trained from scratch on 10B tokens with a **per-layer** load-balancing loss. It is identical to [JIRU-W/e32_top8_seq2048_gbs128_10b](https://huggingface.co/JIRU-W/e32_top8_seq2048_gbs128_10b) (sam