Red Hat 发布 gemma-4-12B-it FP8 动态量化模型

AI 摘要

Red Hat 发布了基于 Google gemma-4-12B-it 的 FP8 动态量化版本，使用 vLLM 的 llm-compressor 工具对权重和激活进行量化，并提供了完整的量化脚本和评估方法。该模型已在 RHOAI 3.5、RHAIIS 3.5 和 vLLM 0.24.0 上验证，旨在提升推理效率。

正文节选

--- library_name: transformers license: apache-2.0 license_link: https://ai.google.dev/gemma/docs/gemma_4_license pipeline_tag: any-to-any base_model: google/gemma-4-12B-it provider: Google name: RedHatAI/gemma-4-12B-it-FP8-Dynamic description: FP8-dynamic quantized variant of gemma-4-12B-it. readme: https://huggingface.co/RedHatAI/gemma-4-12B-it-FP8-Dynamic/blob/main/README.md tags: - fp8 - vllm - llm-compressor - compressed-tensors tasks: - text-to-text - text-generation - image-text-to-text -

发布时间：2026-08-13 21:10

抓取时间：2026-08-13 21:13

来源机构：Hugging Face