返回全部动态
mlx-community 发布 Qwen3.8-27B 4-bit 混合精度量化版
原标题：mlx-community/Qwen3.8-27B-OptiQ-4bit
AI 摘要
mlx-community 发布了 Qwen3.8-27B 的 4-bit 混合精度 MLX 量化版本，基于 mlx-optiq 工具链，通过 KL 散度敏感度分析将敏感层保留为 8-bit、其余层用 4-bit，磁盘占用 19.0 GB。该量化模型支持在 Apple Silicon 上本地运行文本与图像输入，并附带 MMLU 84.1%、GSM8K 96.1%、HumanEval 92.1% 等基准成绩。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- library_name: mlx license: apache-2.0 pipeline_tag: image-text-to-text base_model: Qwen/Qwen3.8-27B tags: - mlx - quantized - mixed-precision - 4bit - 8bit - optiq - apple-silicon - image-text-to-text - vision-language - qwen3.8 --- # mlx-community/Qwen3.8-27B-OptiQ-4bit > **Built with [mlx-optiq](https://mlx-optiq.com)**, the MLX-native toolkit to quantize, fine-tune, and serve LLMs locally on Apple Silicon, no PyTorch and no cloud. [Try the Lab](https://mlx-optiq.com/docs/lab/) · [All Op
发布时间：2026-10-30 18:14
抓取时间：2026-10-30 18:15
来源机构：Hugging Face