StartLux-Decision-35B-A3B 的 GGUF 量化版本发布
原标题：mradermacher/StartLux-Decision-35B-A3B-GGUF
AI 摘要
开发者 mradermacher 在 Hugging Face 上发布了 StartLux-Decision-v1-35B-A3B 模型的 GGUF 静态量化版本，提供从 Q2_K 到 Q8_0 以及 mmproj 多模态补充文件等多种量化格式。该模型为基于混合专家（MoE）架构的决策/分类模型，采用 cc-by-nc-4.0 非商用许可。此举方便用户在本地以不同显存预算运行该模型，但作者表示暂未提供加权/imatrix 量化版本。
正文节选
--- base_model: startlux-models/StartLux-Decision-v1-35B-A3B language: - en library_name: transformers license: cc-by-nc-4.0 mradermacher: readme_rev: 1 quantized_by: mradermacher tags: - decision-model - typed-decisions - classification - mixture-of-experts --- ## About <!-- ### quantize_version: 2 --> <!-- ### output_tensor_quantised: 1 --> <!-- ### convert_type: hf --> <!-- ### vocab_type: --> <!-- ### tags: --> <!-- ### quants: x-f16 Q4_K_S Q2_K Q8_0 Q6_K Q3_K_M Q3_K_S Q3_K_L Q4_K_M Q5