Nemotron-3-Nano-4B 登陆 Apple Core AI，实现高效端侧推理
原标题：mlboydaisuke/Nemotron-3-Nano-4B-CoreAI
AI 摘要
mlboydaisuke 在 Hugging Face 上发布了 Nemotron-3-Nano-4B-CoreAI，这是 NVIDIA 的混合 Mamba-2/Transformer 模型在 Apple Core AI 运行时上的量化版本。该模型在 iPhone 17 Pro 上达到 16.0 tok/s 的解码速度，在 M4 Max 上达到 85.2 tok/s，且输出与 fp32 版本 token 级一致。此发布展示了 Core AI 作为 Core ML 的继任者，支持在 Apple 设备上高效运行混合架构模型。
正文节选
--- library_name: coreai license: other license_name: nvidia-open-model-license base_model: nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 tags: [coreai, core-ai, coreml, mamba2, ssm, on-device, apple-silicon, macos, ios, hybrid, nemotron-h, tokens-per-second, m4-max, iphone-17-pro, nvidia-nemotron-3] base_model_relation: quantized --- Core AI is Apple's on-device ML runtime in iOS 27 / macOS 27 and the successor to Core ML: PyTorch models are exported with Apple's `coreai-torch` (LLMs: `coreai.llm.expo