返回全部动态
H2O Lightning 4B 发布 GGUF 量化版本
原标题：h2oai/h2o-lightning-4b-gguf
AI 摘要
H2O.ai 在 Hugging Face 发布了 H2O Lightning 4B 的 GGUF 量化版本，供 llama.cpp 使用。该模型以带概率的类型化决策（choice、noul、score）输出结果，官方推荐 Q8_0 文件，并给出各精度档位相对 BF16 的准确率与答案一致率对比。llama.cpp 已合并相关支持，用户可直接通过 llama-server 运行，无需 fork 或补丁。
以上摘要由 AI 生成，可能存在误差。事实请以原文为准。
正文节选
--- license: apache-2.0 base_model: h2oai/h2o-lightning-4b library_name: llama-cpp pipeline_tag: image-text-to-text tags: - decision-making - calibration - jevbench - multimodal - qwen3_5 - typed-decisions - decision-model - gguf - llama-cpp ---  # H2O Lightning 4B GGUF GGUF files of [H2O Lightning 4B](https://huggingface.co/h2oai/h2o-lightning-4b) for llama.cpp. For the model description, training and general benchmarks, s
发布时间：2026-10-21 03:57
抓取时间：2026-10-20 11:33
来源机构：Hugging Face