CYBER-FROST-3.8 GGUF 量化模型发布
原标题:freakyskittle/CYBER-FROST-3.8-GGUF
AI 摘要
Hugging Face 用户 freakyskittle 发布了 CYBER-FROST-3.8 的 GGUF 量化版本,该模型基于 Blackfrost-AI/CYBER-FROST-3.8-BF16,架构为 qwen4exp,约 180B 参数、6B 激活,采用 MoE 设计。发布者上传了多种量化文件(Q2 至 Q4 等),并在 Radeon 680M 的 Vulkan 后端上进行了冒烟测试,其中 Q2_K_S 版本内嵌了 MTP 草稿头。测试显示生成速度约 1.0-1.1 tok/s,长上下文未经验证,且部分 MTP 独立文件无法加载。
正文节选
--- license: other license_name: qwen-community-license-1.0 license_link: LICENSE base_model: Blackfrost-AI/CYBER-FROST-3.8-BF16 base_model_relation: quantized pipeline_tag: text-generation library_name: llama.cpp tags: - gguf - qwen4exp - moe --- # CYBER-FROST-3.8 GGUF The queued trunk quants are uploaded. Each one passed a short Vulkan generation test. `CYBER-FROST-3.8-Q2_K_S.gguf` now carries the MTP head inside the file. The separate `mtp-` files still do not load. Source checkpoint: [Bla