Audio Flamingo 系列 GGUF 量化版发布
原标题：audio-cpp/Audio-Flamingo-GGUF
AI 摘要
Hugging Face 上发布了 audio-cpp/Audio-Flamingo-GGUF 仓库，将 NVIDIA 的 Audio Flamingo 3、Audio Flamingo Next 和 Music Flamingo 打包为 GGUF 格式，供 audio.cpp 运行时使用。这些自包含文件包含模型张量、tokenizer、配置和模型规格，支持语音转写、音频描述和音乐理解，并提供 BF16、Q8_0、Q4_K 量化版本。在 RTX 5090 上，量化版相比官方 Python BF16 显著降低显存占用并提升速度，例如 Q4_K 峰值显存约 6.3 GiB、RTF 0.0152。
正文节选
--- license: other license_name: nvidia-oneway-noncommercial license_link: https://huggingface.co/nvidia/audio-flamingo-next-hf/blob/5634886e2615c2f587dcf8b93c6edfe9907930ca/static/NVIDIA-OneWay-Noncommercial-License_22Mar2022-academic.docx base_model: - nvidia/audio-flamingo-3-hf - nvidia/audio-flamingo-next-hf - nvidia/music-flamingo-2601-hf tags: - audio.cpp - gguf - audio-text-to-text - automatic-speech-recognition language: - en --- # Audio Flamingo 3, Next, and Music Flami