返回全部动态

Ornith-1.5-9B 发布 GSQ-RCO 混合精度 GGUF 量化版

原标题:abenzerps/Ornith-1.5-9B-GSQ-RCO-GGUF

Hugging Face New and Trending Models一手来源开源质量 59

AI 摘要

开发者 abenzerps 在 Hugging Face 发布了 Ornith-1.5-9B 的 GSQ-RCO 混合精度 GGUF 量化版本,面向 llama.cpp 本地推理,支持最长 262K token 上下文。该方案针对混合 SSM-Transformer 模型在标准量化下性能严重退化的问题,通过将 48 个关键 SSM 参数保留为 BF16(RCO),并结合基于 Hessian 敏感度的逐层精度优化(GSQ)来提升保真度。发布提供 IQ2_XS 至 IQ3_M 多档量化文件,并可选附带多 token 预测头的 -mtp 构建以支持投机解码。

以上摘要由 AI 生成,可能存在误差。事实请以原文为准。

正文节选

--- language: - en license: mit library_name: gguf tags: - text-generation - gsq - rco - llama.cpp - quantized - reasoning - ornith - mixed-precision - mixed-prediction - mixed-prediciton base_model: ornith-ai/Ornith-1.5-9B-GGUF base_model_relation: quantized pipeline_tag: text-generation --- [![🤗 Model Requests](https://img.shields.io/badge/%F0%9F%A4%97_Model_Requests-Submit_Here-f59e0b?style=for-the-badge&labelColor=1f2937)](https://abenzerps.com/request-a-model/) # Ornith-1.5-9B GSQ-RCO GGU


发布时间:2026-10-26 01:03
抓取时间:2026-10-11 20:06
来源机构:Hugging Face
阅读原文huggingface.co