返回全部动态
NVIDIA Nemotron 3.5 Lightning 30B A3B 发布 GGUF 量化版
原标题：ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF
AI 摘要
Hugging Face 上发布了由 ggml-org 转换的 NVIDIA Nemotron 3.5 Lightning 30B A3B 模型的 GGUF 量化版本，该模型基于 NVIDIA 的 BF16 版本，支持通过 llama.cpp 运行。此转换使得模型可以在本地设备上高效运行，扩大了其可用性。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- license: other pipeline_tag: text-generation tags: - gguf - quantized base_model: - nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 --- # NVIDIA-Nemotron-3.5-Lightning-30B-A3B Run with https://llama.app ```bash llama serve -hf ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF ``` ### Source models - https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 <!-- - https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 - https://huggingface.co/nvidia/
发布时间：2026-09-06 10:23
抓取时间：2026-08-14 15:03
来源机构：Hugging Face