返回全部动态
Qwen3.8-27B 推出 16GB VRAM 优化 GGUF 量化版
原标题：tooltd/Qwen3.8-27B-IQ4-XS-16GB-VRAM-GGUF
AI 摘要
Hugging Face 用户 tooltd 发布了 Qwen3.8-27B 的 GGUF 量化版本，针对 16GB VRAM 优化，采用自定义混合精度量化方法 ZB-ZipBrain，结合重要性矩阵校准和率失真边际成本，自动寻找帕累托最优的比特分配。该模型在 16GB 显卡上约 4 BPW，12GB 显卡上约 3 BPW，并通过基准测试对比了多种量化方法的困惑度和 KL 散度，声称在低比特下保持较好质量。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- base_model: - Qwen/Qwen3.8-27B license: apache-2.0 tags: - unsloth - imatrix - llama.cpp - qwen3.8 - qwen - ubergarm - 16GB - 12GB --- # Qwen3.8-27B (GGUF target for 16GB VRAM) - This repository provides GGUF quantizations for **Qwen3.8-27B** optimized using **ZB-ZipBrain**, a custom mixed-precision quantization methodology that optimizes LLM tensor bit allocation using rate-distortion marginal cost combined with importance matrix calibration. It automatically identifies Pareto-optimal BPW
发布时间：2026-09-05 20:36
抓取时间：2026-08-29 00:10
来源机构：Hugging Face