mlx-optiq 发布 Qwen3.5-9B 4-bit 混合精度量化版
原标题：mlx-community/Qwen3.5-9B-OptiQ-4bit
AI 摘要
mlx-optiq 发布了 Qwen3.5-9B 的 4-bit 混合精度 MLX 量化版本，基于 KL 散度敏感度分析将敏感层保留为 8-bit、其余层为 4-bit。该量化在六项基准的平均 Capability Score 上略优于统一 4-bit（69.85 对 69.66），磁盘体积约 6.6GB，比统一 4-bit 大 1.1GB。模型附带 MTP 头，可通过 optiq serve 实现约 1.4 倍解码加速，面向 Apple Silicon 本地部署。
正文节选
--- library_name: mlx license: apache-2.0 pipeline_tag: text-generation base_model: Qwen/Qwen3.5-9B tags: - mlx - quantized - mixed-precision - 4bit - 8bit - optiq - apple-silicon - text-generation - qwen3.5 --- # mlx-community/Qwen3.5-9B-OptiQ-4bit > **Built with [mlx-optiq](https://mlx-optiq.com)**, the MLX-native toolkit to quantize, fine-tune, and serve LLMs locally on Apple Silicon, no PyTorch and no cloud. [Try the Lab](https://mlx-optiq.com/docs/lab/) · [All OptiQ quants](https://mlx-op