mradermacher 发布 decider-35b-a3b 的 GGUF 量化版本
原标题:mradermacher/decider-35b-a3b-GGUF
AI 摘要
开发者 mradermacher 在 Hugging Face 上发布了 Mapika/decider-35b-a3b 模型的 GGUF 量化版本,提供从 Q2_K 到 Q8_0 共 11 种量化规格,文件大小覆盖 13.0GB 至 37.0GB。该模型基于 Apache-2.0 许可,标签显示其定位为决策模型,具备校准、结构化输出、多任务、单次推理及混合专家(MoE)等特性。此次发布使该模型可在本地以不同精度和体积运行,方便资源受限场景部署。
正文节选
--- base_model: Mapika/decider-35b-a3b language: - en library_name: transformers license: apache-2.0 mradermacher: readme_rev: 1 quantized_by: mradermacher tags: - decision-model - calibrated - structured-output - multi-task - system-one - one-pass - mixture-of-experts --- ## About <!-- ### quantize_version: 2 --> <!-- ### output_tensor_quantised: 1 --> <!-- ### convert_type: hf --> <!-- ### vocab_type: --> <!-- ### tags: --> <!-- ### quants: x-f16 Q4_K_S Q2_K Q8_0 Q6_K Q3_K_M Q3_K_S Q3_K_