Mesh LLM 发布 GLM-5.3-Flash 分层 GGUF 分布式推理包
原标题：meshllm/GLM-5.3-Flash-UD-Q4_K_XL-layers
AI 摘要
Mesh LLM 在 Hugging Face 发布了 GLM-5.3-Flash-UD-Q4_K_XL 的分层 GGUF 推理包，将 unsloth 的原始 GGUF 拆分为 46 个逐层工件，用于跨本地多机集群的分布式推理。该包总大小约 188.5 GB，支持 OpenAI 兼容的 /v1/chat/completions 接口，采用 MIT 许可。其意义在于让单机无法容纳的大模型可以通过多台机器共享内存与算力进行本地私有部署。
正文节选
--- library_name: mesh-llm license: "mit" base_model: - "unsloth/GLM-5.3-Flash-GGUF" pipeline_tag: "text-generation" tags: - gguf - mesh-llm - layer-package - skippy - distributed-inference - local-inference - openai-compatible --- <div align="center"> <a href="https://www.meshllm.cloud"> <img src="https://meshllm.cloud/assets/images/jelly-logo-wordmark.png" alt="Mesh LLM" width="220"> </a> <h1>GLM-5.3-Flash-UD-Q4_K_XL</h1> <p> <strong>Distributed GGUF inference package for Me