DavidAU 发布 Nemotron-3.5-Bolt 74B 的 IQ2 量化版,集成 Turbo Brilliance 系统
原标题:DavidAU/NVIDIA-Nemotron-3.5-Bolt-Turbo-Brilliance-50x-74B-A9B-24GB-GGUF
AI 摘要
Hugging Face 用户 DavidAU 发布了基于 NVIDIA Nemotron-3.5-Bolt-74B-A9B 的 GGUF 量化模型,采用 IQ2 QAT 量化,可在 24GB 显存下运行。该模型集成了名为 Turbo Brilliance 的系统,提供 27 种推理模式和 27 种指令模式,以及 15 个 AI Constructs(预设角色化配置),可在提示词或 API 中动态切换。作者称其在 5090 上达到 150 t/s,并计划将该系统扩展到 Qwen、Gemma、Mistral、GLM、Llama 等模型。
正文节选
--- license: other license_name: openmdw-1.1 license_link: https://openmdw.ai/license/1-1/ pipeline_tag: image-text-to-text language: - en - es - fr - de - it - ja tags: - nvidia - nemotron-3.5 - moe - 27 reasoning modes - 15 AI Constructs - 5 Super AI Constructs - Brainstorm AI Construct - Brainstorm Business AI Construct - Universal Teacher AI Construct - Agent AI Construct - Coder AI Construct - Turbo-Brilliance - NEO Imatrix - NEO Imatrix MAX - QAT IQ2 quant datasets: - nvidia/nemotron-post-