mlx-community 发布 Qwen3.8-27B 无审查模型 OptiQ 4bit 量化版
原标题:mlx-community/Qwen3.8-27B-Uncensored-OptiQ-4bit
AI 摘要
mlx-community 在 Hugging Face 发布了 Qwen3.8-27B-Uncensored 的 OptiQ 混合精度 4bit 量化版本,基于 orcarouter 的无审查 Qwen3.8 27B 推理模型,采用逐层 4/8-bit 分配,磁盘占用 19GB。该版本保留 MTP 推测头以加速解码,需通过 mlx-optiq 工具链在 Apple Silicon 本地运行,并提供兼容 OpenAI/Anthropic 的推理端点。
正文节选
--- license: apache-2.0 base_model: orcarouter/Qwen3.8-27B-Uncensored base_model_relation: quantized library_name: mlx pipeline_tag: text-generation language: - en tags: - mlx - optiq - quantized - 4bit - mixed-precision - qwen3.8 - reasoning - long-context - mtp - multi-token-prediction - function-calling - tool-use - agentic - uncensored - apple-silicon --- # mlx-community/Qwen3.8-27B-Uncensored-OptiQ-4bit > **Built with [mlx-optiq](https://mlx-optiq.com)**, the MLX-native toolkit to quantiz