Ornith-1.5-9B 发布 GSQ-RCO 混合精度 GGUF 量化版
原标题:abenzerps/Ornith-1.5-9B-GSQ-RCO-GGUF
AI 摘要
开发者 abenzerps 在 Hugging Face 发布了 Ornith-1.5-9B 的 GSQ-RCO 混合精度 GGUF 量化版本,面向 llama.cpp 本地推理,支持最长 262K token 上下文。该方案针对混合 SSM-Transformer 模型在标准量化下性能严重退化的问题,通过将 48 个关键 SSM 参数保留为 BF16(RCO),并结合基于 Hessian 敏感度的逐层精度优化(GSQ)来提升保真度。发布提供 IQ2_XS 至 IQ3_M 多档量化文件,并可选附带多 token 预测头的 -mtp 构建以支持投机解码。
正文节选
--- language: - en license: mit library_name: gguf tags: - text-generation - gsq - rco - llama.cpp - quantized - reasoning - ornith - mixed-precision - mixed-prediction - mixed-prediciton base_model: ornith-ai/Ornith-1.5-9B-GGUF base_model_relation: quantized pipeline_tag: text-generation --- [](https://abenzerps.com/request-a-model/) # Ornith-1.5-9B GSQ-RCO GGU