NVIDIA parakeet-unified-en-0.6b 的 GGUF 量化版发布
原标题：handy-computer/parakeet-unified-en-0.6b-gguf
AI 摘要
Hugging Face 用户 handy-computer 发布了 NVIDIA parakeet-unified-en-0.6b 的 GGUF 量化版本，供 transcribe.cpp 推理框架使用。该模型是 0.6B 参数的 FastConformer 编码器加 RNN-T 解码器的英文语音识别模型，支持离线与缓冲流式两种模式。量化版本在 LibriSpeech test-clean 上 WER 约 1.58%-1.62%，与 F32 基线 1.59% 基本持平，Q4_K_M 仅 477MB，便于本地部署。
正文节选
--- license: cc-by-4.0 base_model: nvidia/parakeet-unified-en-0.6b base_model_relation: quantized library_name: transcribe.cpp pipeline_tag: automatic-speech-recognition language: - en tags: - gguf - transcribe.cpp - asr - speech-to-text - parakeet - conformer - rnnt transcribe_cpp: wer_librispeech_test_clean: f32: 1.59 f16: 1.59 q8_0: 1.6 q6_k: 1.61 q5_k_m: 1.58 q4_k_m: 1.62 rtf_m4_max: metal: 163 cpu: 28.5 rtf_ryzen_4750u: vulkan: 12.5