Luck-Spark V-300-MoE：小型Mixtral风格MoE研究预览
原标题：ahmetggg/Luck-spark-V-300-MoE
AI 摘要
开发者 Dr. Zeon 在 Hugging Face 发布 Luck-Spark V-300-MoE，一个从零预训练的小型 Mixtral 风格 MoE 语言模型，总参数约 2.95 亿，含 4 个专家、top-2 路由、1024 上下文。模型在 Kaggle 双 T4 上训练，目标语料 50 亿 token，当前权重处于训练早期，可生成短文本但可能重复或混语，评测对比尚未发布。项目旨在验证小规模稀疏专家路由、土耳其语与英语及数学代码的混合平衡，以及跨会话断点续训流程。
正文节选
--- license: mit language: - tr - en library_name: transformers pipeline_tag: text-generation base_model: [] tags: - moe - mixtral - causal-lm - from-scratch - turkish - bilingual - pretraining - research-preview datasets: - HuggingFaceFW/fineweb-edu - ytu-ce-cosmos/Cosmos-Turkish-Corpus-v1.0 - open-web-math/open-web-math - codeparrot/codeparrot-clean - HuggingFaceTB/cosmopedia --- <p align="center"> <img src="logo.png" alt="Luck-Spark V-300-MoE" width="100%"> </