ggml-org 发布 vllm-d3-flash 的 GGUF 量化决策模型
原标题:ggml-org/vllm-d3-flash-GGUF
AI 摘要
ggml-org 在 Hugging Face 发布了 vllm-d3-flash-GGUF,这是对 vllm-sr/d3-flash 的 GGUF 量化版本,采用 Apache-2.0 许可,pipeline 标签为 image-text-to-text。该模型被定位为决策模型(decision model),需通过 llama.cpp 的 /v1/systemone API 调用,并可在 Llama 应用或终端用 llama serve 运行。模型由 ggml-org/convert 工具自动转换生成。
正文节选
--- license: apache-2.0 pipeline_tag: image-text-to-text tags: - gguf - quantized - decision-model base_model: - vllm-sr/d3-flash --- # vllm-d3-flash Run it in the Llama app: https://llama.app Or from the terminal: ```bash llama serve -hf ggml-org/vllm-d3-flash-GGUF ``` This is a decision model, to be used via `/v1/systemone` API. See https://github.com/ggml-org/llama.cpp/pull/30383 ### Source models - https://huggingface.co/vllm-sr/d3-flash > [!IMPORTANT] > This model is automatically co