OTel-2.0-Decision-26B-A4B-4bit 量化决策模型发布
原标题：farbodtavakkoli/OTel-2.0-Decision-26B-A4B-4bit
AI 摘要
开发者 farbodtavakkoli 在 Hugging Face 发布了 OTel-2.0-Decision-26B-A4B-4bit，这是基于 Google Gemma 4 26B-A4B-it 的 4-bit W4A16 量化版本，面向分类、是/否问答和有序等级等类型化决策任务，通过读取答案标签概率而非生成文本给出结果。模型在 AMD MI350P 与 Ryzen AI MAX+ PRO 395 上评测，JevBench 公开集准确率约 86.58%–87.45%，并提供了基于 vLLM 的 ROCm 与 CUDA 部署方案及 System One API 接口。
正文节选
--- license: apache-2.0 license_link: https://ai.google.dev/gemma/docs/gemma_4_license language: - en base_model: - google/gemma-4-26B-A4B-it base_model_relation: quantized tags: - telecom - telecommunications - open-telco-ai - classification - typed-decisions - decision-engine - system-one - gemma4 - mixture-of-experts - awq - w4a16 - compressed-tensors - 4-bit - amd - rocm - nvidia - cuda - h100 - vllm pipeline_tag: text-generation --- # OTel-2.0-Decision-26B-A4B-4bit > **Versioning notice:*