返回全部动态
llama.cpp b12000 发布：新增 OCP FP8 E4M3 支持
原标题：b12000
AI 摘要
llama.cpp 发布 b12000 版本，核心变更是为 ggml/gguf 转换与推理链路加入 OCP FP8 E4M3 量化格式支持，包括转换脚本修复、CPU 快速 F8_E4M3 kernel、Metal 后端暂时黑名单 FP8，以及针对 Qwen3-Next、NVFP4 等模型转换问题的修复。该更新提升了 llama.cpp 对 FP8 压缩权重模型的兼容性，并同步提供 macOS、Linux 多后端预编译包。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
<details open> Quant: OCP FP8 E4M3 support (#27512) * WIP OCP FP8 E4M3 support * Fix python type-checker * Materialize input_scales also for FP8 when converting * Fix conversion of https://huggingface.co/RedHatAI/Qwen3.8-27B-NVFP4 1. Per row FP8 wrongly fell to NVFP4 conversion, as NVFP4 checked on dims alone. Also check on dtype for FP8 2. Need to reshape FP8 QKV projections scales in the same way that weights are reshaped * Allow remaining FP8 tensors to be dequantized during conv
发布时间：2026-10-30 12:25
抓取时间：2026-10-30 13:11
来源机构：ggml-org