LiquidAI 发布 LFM3-1.7B 的 MLX 8 位量化版
原标题:LiquidAI/LFM3-1.7B-MLX-8bit
AI 摘要
LiquidAI 在 Hugging Face 发布 LFM3-1.7B 的 8 位 MLX 量化版本 LFM3-1.7B-MLX-8bit,面向 Apple Silicon,权重占用 1.84 GB,采用 group size 为 64 的 8 位仿射量化。该版本需配合 MLX-VLM 0.7.11 及以上版本使用,并支持通过 --enable-thinking 开启推理模式。目前尚无 mlx-lm 正式版本支持 LFM3,相关支持仍在审核中。
正文节选
--- library_name: mlx license: other license_name: lfm1.0 license_link: LICENSE pipeline_tag: text-generation tags: - liquid - lfm3 - mlx language: - en - ar - zh - fr - de - it - ja - ko - pt - es - vi - th - id - hi - ru - pl base_model: LiquidAI/LFM3-1.7B base_model_relation: quantized --- <div align="center"> <img src="https://huggingface.co/LiquidAI/LFM3-1.7B/resolve/main/assets/liquid-ai-banner.webp" alt="Liquid AI" style="width: 100%; max-width: 100%; height: auto; display: