RedHatAI 发布 Muse-Glimmer-30B FP8 量化版
原标题：RedHatAI/Muse-Glimmer-30B-FP8-block
AI 摘要
RedHatAI 发布了 Muse-Glimmer-30B-FP8-block，这是对 Meta 的 meta-models/Muse-Glimmer-30B 多模态模型进行 FP8（W8A8 block）量化后的版本。该模型使用 LLM Compressor 以无需校准数据的 post-training 量化方式生成，并以 compressed-tensors 格式导出，可直接用 vLLM 部署推理。量化将每个参数的位数从 16 位降至 8 位，磁盘占用和 GPU 显存需求约减少 50%，并已验证支持工具调用。
正文节选
--- library_name: transformers pipeline_tag: image-text-to-text tags: - fp8 - vllm - llm-compressor - compressed-tensors base_model: meta-models/Muse-Glimmer-30B license: apache-2.0 license_link: https://choosealicense.com/licenses/apache-2.0/ provider: Muse (Meta) name: RedHatAI/Muse-Glimmer-30B-FP8-block readme: https://huggingface.co/RedHatAI/Muse-Glimmer-30B-FP8-block/blob/main/README.md tool_calling_supported: true tool_call_parser: muse_glimmer required_cli_args: - '--generation-config aut