miceworks 发布 Mark-SLM-V3-150M 稀疏语言模型
原标题：miceworks/Mark-SLM-V3-150M
AI 摘要
研究者 miceworks 在 Hugging Face 发布 Mark-SLM-V3-150M，一个 150M 参数、基于 deepseek2 架构的稀疏语言模型，采用 MLA 与细粒度 MoE，并导出为 IQ4_NL 量化的 GGUF 文件。模型在 3.47M token 的课程数据上训练，在 Open SLM Leaderboard 上取得 16.36 的 Intelligence Index，但作者明确说明该分数衡量的是分布内课程学习，模型定位为 8GB GPU 上的架构研究测试床，而非通用对话助手。
正文节选
--- license: apache-2.0 library_name: gguf pipeline_tag: text-generation language: - en datasets: - miceworks/Mark-Open-SLM-Curriculum tags: - gguf - llama.cpp - deepseek2 - mixture-of-experts - multi-head-latent-attention - iq4_nl - mark-ai - systems-engineering --- # Mark-SLM-V3-150M ## Overview **`Mark-SLM-V3-150M` is a 150M-parameter experimental sparse language model trained on 3.47M tokens (`miceworks/Mark-Open-SLM-Curriculum`), achieving an in-distribution Intellige