AEON-7 发布 Qwen3.6-35B-A3B-heretic NVFP4 量化版
原标题:AEON-7/Qwen3.6-35B-A3B-heretic-NVFP4
AI 摘要
AEON-7 发布了 Qwen3.6-35B-A3B-heretic 的 NVFP4 量化版本 v2,基于 tvall43 的去审查(abliterated)Qwen3.6 35B-A3B MoE 多模态模型重新量化,恢复了标准多模态架构以提升 vLLM 推理稳定性。2026-06-18 的修复将 333 个视觉张量重命名为 model.visual.*,解决了此前图像输入输出乱码的问题,现可在 DGX Spark 上以最高约 740 tok/s 聚合吞吐、c=64 并发稳定运行。
正文节选
--- license: apache-2.0 language: - en library_name: transformers pipeline_tag: image-text-to-text base_model: tvall43/Qwen3.6-35B-A3B-heretic base_model_relation: quantized tags: - 1m-context - 35b - 3b-active - 4-bit - aarch64 - abliterated - aeon - aeon-7 - agentic - arm64 - blackwell - chat - chunked-prefill - coding - compressed-tensors - conversational - decensored - dflash - dgx-spark - english - flashinfer-cutlass - fp4 - fp8-kv-cache - function-calling - gated-deltanet - gb10 - gdn - gp