Nail-Qwen3.6-35B-A3B-GGUF：高效量化模型，提升推理速度与对话质量
原标题：peculiar-ragdoll/Nail-Qwen3.6-35B-A3B-GGUF
AI 摘要
peculiar-ragdoll 发布了 Nail-Qwen3.6-35B-A3B-GGUF，这是基于 Qwen3.6-35B-A3B 的 4-bit 量化模型，采用改进的聊天模板和强制系统提示，旨在减少过度思考、工具调用失败和冗长输出。在基准测试中，Nail 在响应速度和多轮对话质量上优于 Qwen3.6-27b 及其微调版本，但在长上下文任务中，其密集版本 Dagger 在上下文效率上更优。该模型支持 256k 上下文，可在 24GB 显存上运行，适合代理编码和高效推理。
正文节选
--- license: apache-2.0 license_link: https://huggingface.co/Qwen/Qwen3.6-35B-A3B/blob/main/LICENSE language: - en - zh base_model: Qwen/Qwen3.6-35B-A3B base_model_relation: quantized library_name: gguf pipeline_tag: image-text-to-text tags: - gguf - llama.cpp - qwen3_6 - moe - token-efficient - efficient-thinking - agentic-coding - 4-bit --- <div align="center"> <img src="assets/nail_banner_eyebrow.png" alt="Nail — Qwen3.6-35B-A3B, sharpened, battle tested" width="100%">