Step-5-Preview 的 ik_llama.cpp GGUF 量化发布
原标题:L-Alchemyst/Step-5-Preview-GGUF
AI 摘要
Hugging Face 用户 L-Alchemyst 发布了 Step-5-Preview 模型的 GGUF 量化版本,面向 ik_llama.cpp 推理框架,提供 IQ4_KS-mix-B、IQ3_KS-mix-B 和 smol-IQ3_KS-mix-B 三套量化文件及配套 imatrix。作者指出旧版 A imatrix 因源模型索引器归一化约定有误导致校准噪声,旧量化集困惑度劣化明显(IQ4 +14.5% 对 +3.29%,IQ3 +23.5% 对 +11.50%),建议用户改用 -B 系列。
正文节选
--- license: other --- <style> .qz-wrap { background: #0d1117; color: #e6edf3; font-family: 'Inter', system-ui, -apple-system, sans-serif; font-size: 1rem; line-height: 1.7; padding: 2rem 2.5rem; border-radius: 8px; margin-bottom: 2rem; } .qz-wrap * { color: #e6edf3; } .qz-wrap a { color: #58a6ff; text-decoration: none; } .qz-wrap a:hover { text-decoration: underline; } .qz-header { font-size: 2.2rem; font-weight: 700; color: #ffffff;