Nemotron 3.5 Bolt 74B-A9B 24GB：面向本地 AI 的混合视觉语言模型
原标题：Nemotron 3.5 Bolt 74B-A9B 24GB: A Hybrid Vision-Language Model for Local AI
AI 摘要
NVIDIA 在 arXiv 发布 Nemotron 3.5 Bolt 74B-A9B 24GB，一个基于 Nemotron 3.5 Super VL 120B-A12B 压缩而来的混合 Mamba-Transformer 视觉语言模型。该模型通过 Star Elastic 架构搜索、2-bit 量化感知蒸馏和 LiLiCorr 投机解码，将 BF16 模型从 148GB 压缩至 22.1GB，可在 24GB 内存的 RTX Spark 上以 84 TPS 运行。其目标场景为本地智能体、网页浏览和终端交互，在 GDPVal v2、BrowseComp、Terminal-Bench 2.1 等基准上准确率超过同内存占用和速度的模型。
正文节选
Nemotron 3.5 Bolt 74B-A9B 24GB: A Hybrid Vision-Language Model for Local AI Abstract Abstract. We introduce Nemotron 3.5 Bolt 74B-A9B 24GB, a hybrid Mamba–Transformer vision-language model that optimizes speed and intelligence per GB of memory used for local agentic workloads. Derived from the Nemotron 3.5 Super VL 120B-A12B model family, Nemotron 3.5 Bolt 74B-A9B 24GB combines Star Elastic compression with 2-bit Quantization-Aware Distillation for memory-constrained deployment. The model is opt