ggml-org 发布 LFM2.5-24B-A2B GGUF 量化版
原标题：ggml-org/LFM2.5-24B-A2B-GGUF
AI 摘要
ggml-org 在 Hugging Face 发布了 LiquidAI LFM2.5-24B-A2B 的 GGUF 量化版本，可通过 llama.app 的 llama serve 命令直接运行。该版本提供 Q8_0 与 Q4_K_M 量化，与 LiquidAI 官方 GGUF 量化方式一致，并提及 LiquidAI 另有量化感知蒸馏（QAD）的 Q4_0 版本以弥补精度损失。模型由 ggml-org/convert 工具自动转换，页面信息尚不完整。
正文节选
--- license: other license_name: lfm1.0 license_link: https://huggingface.co/LiquidAI/LFM2.5-24B-A2B/blob/main/LICENSE pipeline_tag: text-generation tags: - gguf - quantized base_model: - LiquidAI/LFM2.5-24B-A2B --- # LFM2.5-24B-A2B Run with https://llama.app ```bash llama serve -hf ggml-org/LFM2.5-24B-A2B-GGUF ``` ### Source models - https://huggingface.co/LiquidAI/LFM2.5-24B-A2B ### Notes - Q8_0 and Q4_K_M use the same quantization as LiquidAI's own GGUFs: https://huggingface.co/LiquidAI/