AgentionAI 发布 Qwen3.8-Flash-Next Gyro 系列 GGUF 量化模型
原标题:agentionai/Qwen3.8-Flash-Next-Gyro-GGUF
AI 摘要
AgentionAI 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 Gyro 系列 GGUF 量化模型,包含面向 32GB 显卡的 Gyro-S、48GB 的 Gyro-M 和 64GB 统一内存的 Gyro-L,通过自研 APR 旋转基与 trellis 量化,在更小显存下实现接近 Q4 的精度。官方称 Gyro-S 在单张 RTX 5090 上可达 221 tok/s,Gyro-M 在 35GiB 下达到 AP-Q4_K_XL 约 98% 的 MMLU-Pro 精度,且长推理循环测试中无死循环。这些文件需 Strata、strix-llama.cpp 或 agentionai/llama.cpp 加载,上游 llama.cpp 暂不支持。
正文节选
--- base_model: - Qwen/Qwen3.8-Flash-Next base_model_relation: quantized license: other license_name: qwen-community-1.0 library_name: gguf pipeline_tag: image-text-to-text tags: - gguf - qwen3.8-flash-next - qwen4exp - experimental - agentionai --- <img src="gyro-header.png" alt="AgentionAI — Gyro 3.8 Flash Next" width="100%"> # Qwen3.8-Flash-Next Gyro — GGUF **Qwen3.8-Flash-Next (125B MoE) on one GPU: 27.6 GiB for a 32 GB card, 35 GiB for 48 GB, 50 GiB for 64 GB.** | Headline | Detail | |-