返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3318 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月13日周日 · 5 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10935:新增 LOG JSON 结构化日志宏

llama.cpp 发布 b10935 版本,主要变更是为 common 模块新增 LOG JSON 宏,用于记录结构化数据,并在 fit 中加入了演示用法。该版本同时提供了覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10934:为 JSON schema 引入 common schema 内部表示

llama.cpp 发布 b10934 版本,核心变更是为 JSON schema 引入 common schema 内部表示,并实现 JSON schema 优化器,将 json-schema-to-grammar 重构为基于 common schema 与 common trie。该改动统一了类型/kind 解析、移除 common chat tool

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10933:jinja 支持点属性整数常量

llama.cpp 发布 b10933 版本,主要变更是 jinja 模板支持点属性整数常量(PR #28817)。该版本同时提供 macOS、iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10932:修复 clang 预编译头时间戳构建问题

llama.cpp 发布 b10932 版本,主要修复了 CMake 构建中 clang 预编译头(PCH)因时间戳不一致导致构建失败的问题,该选项覆盖 ccache 视为 MSVC 但底层为 clang 的编译器,包括 clang-cl 和 Intel LLVM 驱动。同时该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 及

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

ACE-Step 1.5 推出 GGUF 量化模型与 C++ 推理实现

开发者 Serveurperso 在 Hugging Face 发布了 ACE-Step 1.5 的预量化 GGUF 模型,配套其独立实现的 C++17 推理项目 acestep.cpp。该实现基于 GGML,可在 CPU、CUDA、Metal、Vulkan 上运行,输入文本与歌词即可输出 48kHz 立体声音频。模型涵盖 Qwen3 文本编码器、0.6B/

9月12日周六 · 15 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10931:UI 新增缓存功能

llama.cpp 发布 b10931 版本,主要变更是为 UI 添加缓存功能(PR #28802),由 Adrien Gallouët 提交。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10930:修复 server 模型上限下载问题

llama.cpp 发布 b10930 版本,主要修复了 server 在模型数量达到上限时仍允许下载模型的问题(对应 issue #26809,PR #28530)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10929 发布:为 AMD GCN 添加 HIP 配置表

llama.cpp 发布 b10929 版本,主要变更是为 ggml-cuda 后端添加针对 AMD GCN 架构的 HIP 专用配置表(PR #27841)。该版本同时提供覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制包,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新提升了 AM

正文结构化主题已通过公开置信门槛
量子位产品发布

太初元碁超智融合计算系统入选算力中国年度卓越成就

太初(杭州)集成电路有限公司(太初元碁)的新一代超智融合计算系统元碁HyperIntelliX在2026中国算力大会上入选“算力中国·年度卓越成就”。该公司同时首次线下展出20英尺标准化集装箱算力产品,提供32至256卡可调的分布式算力解决方案,并展示新一代国产AI异构芯片T2Ultra、国产AI4S计算平台及桌面级AI产品元碁Mini Station。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Mesh LLM 发布 GLM-5.3-Flash 分层 GGUF 分布式推理包

Mesh LLM 在 Hugging Face 发布了 GLM-5.3-Flash-UD-Q4 K XL 的分层 GGUF 推理包,将 unsloth 的原始 GGUF 拆分为 46 个逐层工件,用于跨本地多机集群的分布式推理。该包总大小约 188.5 GB,支持 OpenAI 兼容的 /v1/chat/completions 接口,采用 MIT 许可。其意

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10927:更新 cpp-httplib 至 0.56.0

llama.cpp 发布 b10927 版本,主要变更是将内置的 cpp-httplib 依赖更新至 0.56.0(PR #28787)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10926:优雅处理不支持的 tq1 0 量化

llama.cpp 发布 b10926 版本,主要变更是由贡献者 syscl 提交的补丁,使程序能够优雅地处理不支持的 tq1 0 量化格式(PR #28681)。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVIN

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10924:修复 router 子进程状态命令解析

llama.cpp 发布 b10924 版本,修复了 server 中 router 子进程状态命令的解析问题。由于子进程状态命令写在 stdout、日志写在 stderr 且共用同一管道,日志的尾部颜色重置转义序列会粘在下一条命令前,导致行前缀检查失败、命令被当作日志行转发,使已完成的下载卡在 downloading 状态。修复方式是在命令前加换行符,确保

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10923:修复 OpenCL 后端中止问题

llama.cpp 发布 b10923 版本,主要修复了 OpenCL 后端导致程序中止的若干 bug(PR #27630)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、Vulkan、ROCm、OpenVINO、SYCL、CUDA 等多种后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10922:OpenCL 新增 A8 Q4 K 二值化 GEMM 内核

llama.cpp 发布 b10922 版本,主要变更是为 OpenCL 后端新增了一个 A8 Q4 K 非 MoE 二值化 GEMM 内核 kernel gemm noshuffle q4 k f32 32b trans ila a8 bin,并修复了布局兼容性、重命名了二值内核选择辅助函数。该提交由高通工程师 Li He 参与贡献,同时发布了覆盖 mac

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10921:修复 WebGPU 张量绑定对齐

llama.cpp 发布 b10921 版本,主要修复 WebGPU 后端张量绑定对齐问题:将绑定偏移回退到与张量距离为整数个块的位置,使块量化视图在着色器中获得有效的元素偏移。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10920:Hexagon 后端支持多设备模型切分

llama.cpp 发布 b10920 版本,主要新增 Hexagon 后端对多设备模型切分(row-split)的支持,由高通工程师参与贡献。该更新涵盖融合算子工作切分、多设备状态管理、fence 与同步机制、内存缓冲处理以及 ALLREDUCE 错误处理等大量修复与重构,并同步更新了开发者文档。此举使 llama.cpp 能在多设备场景下更高效地分配推理

正文结构化主题已通过公开置信门槛
Latent Space模型发布

DeepSeek 发布 V4.1-Flash:763B-P8B-D16B 因果编码器-解码器架构

DeepSeek 发布开源旗舰模型 V4.1-Flash,采用全新的因果编码器-解码器架构,总参数 763B,输入/prefill 激活 8B、输出/decode 激活 16B,支持 1M 上下文与文本+图像输入,MIT 许可。Artificial Analysis 测得其在智能指数上以 40 分超过 V4 Pro 0813,定价为每百万输入 token 0

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b10919:ggml-webgpu 升级 Dawn

llama.cpp 发布 b10919 版本,主要更新是将 ggml-webgpu 后端升级到较新版本的 Dawn,并移除了模块扫描。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.8-27B 高效思考无审查模型发布,含 GGUF 与 NVFP4 量化

Hugging Face 用户 nerkyor 发布了基于 Qwen3.8-27B 的微调模型 Qwen3.8-27B-EfficientThink-Uncensored,采用 SFT 和 SimPO 训练,并集成 DFlash2 推测解码。该模型提供 GGUF 多级量化(Q2 至 Q8)及 NVFP4 量化版本,附带 GPQA、MMLU、LCB 基准测试分