返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3295 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月1日周日 · 14 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12027:为 LFM3 启用张量切分

llama.cpp 发布 b12027 版本,主要变更为 LFM3 启用 tensor split(张量切分),该改动由 Claude Opus 5.5 辅助完成。发布包覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdrago

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Esobold 发布 FM nearswap 系列 GGUF 模型

Hugging Face 上出现了一个名为 Esobold/EsoTest GGUFs 的模型仓库,属于 FM nearswap 系列。该仓库包含 GhostShip-31b-Q4 K M.gguf 文件,描述了一种 nearswap 合并方法:将 Gemma4-Gutenberg-31B-Heretic 与 gemma-4-31B-it-scotoma-2

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

ggml-org 发布 gemma-4-12B-it GGUF 量化版

ggml-org 在 Hugging Face 发布了 gemma-4-12B-it-GGUF,这是对 Google gemma-4-12B-it 的 GGUF 量化版本,采用 Apache-2.0 许可,支持 any-to-any 任务。该模型可通过 Llama 应用或命令行 llama serve 直接运行,页面说明其由 ggml-org/convert

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

FINAL-Bench 发布基于 Gemma4 的 POCKET-26B GGUF 端侧韩语模型

Hugging Face 用户 FINAL-Bench 发布了 POCKET-26B-GGUF,这是一个基于 google/gemma-4-26B-A4B-it 的 GGUF 量化模型,采用 Apache-2.0 许可,面向韩语对话场景,主打端侧与移动端本地推理。该模型可在 Ollama、LM Studio、PocketPal 等现有 llama.cpp 运

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

FINAL-Bench 发布 POCKET-Darwin-180B 的 4-bit GGUF 量化版

FINAL-Bench 在 Hugging Face 发布了 POCKET-Darwin-180B-GGUF,这是对 Darwin-180B-RSI-R3 进行 4-bit GGUF 量化后的版本,约 111GB,基于 Qwen 社区许可。该模型主打端侧与本地部署,可在 8GB 显存加 32GB 内存的笔记本、纯 CPU 迷你主机以及 NVIDIA DGX

正文结构化主题已通过公开置信门槛
阿里 FunASR Releases一手来源开源

阿里 FunASR 发布 v1.4.19 修复多项推理问题

阿里 FunASR 发布 v1.4.19,修复了 Paraformer 在无 token 预测时每句保留一个结果、流式 Paraformer 在 chunk size[0] 为 0 时保留无左上下文帧、ONNX 空 split-final 结果处理、自动说话人数量上限可配置、实时模式转发 vLLM HF 覆盖参数等问题,并同步提供配套 llama.cpp/G

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

cyankiwi 发布 Qwen3-Omni-30B-A3B 的 AWQ 4bit 量化版

cyankiwi 在 Hugging Face 发布了 Qwen3-Omni-30B-A3B-Instruct 的 AWQ 4bit 量化版本,基于 llm-compressor 工具并使用 nvidia/Llama-Nemotron-Post-Training-Dataset 进行校准,模型体积约 27.55 GB。该模型继承 Qwen3-Omni 原生端

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

DeepNarra 发布 Paham-Experimental 三层持续学习模型

DeepNarra 在 Hugging Face 发布实验性模型 Paham-Experimental,采用三层「清醒-睡眠」持续学习架构:推理时冻结基础 GGUF 权重,仅在前向传播缓冲区更新循环快权重;系统空闲时用 75% 预训练锚点加 25% 实时交互做回放,训练 Sidecar-QLoRA 与 MoE 路由门控,再重新量化为 1.58-bit 三元

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

cyankiwi 发布 MiniCPM-SALA AWQ 8bit 量化模型

cyankiwi 在 Hugging Face 发布了 MiniCPM-SALA 的 AWQ 8bit 量化版本,该版本基于 openbmb/MiniCPM-SALA 量化而来,模型体积约 10.63 GB,采用 Apache-2.0 许可,支持中英文文本生成。原模型 MiniCPM-SALA 是首个融合稀疏注意力与线性注意力的大规模混合模型,面向百万级 t

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b12023:修复 server 共享决策前缀问题

llama.cpp 发布 b12023 版本,修复了 server 端共享决策前缀的问题(#30710),将共享前缀限制在父任务与各子任务的第一个必需输出位置,从而在问题共享选项 token 时保证最终 batch 中决策输出 embedding 可用,修复了 #30482。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12022:修复 /v1/responses 端点 extra params 支持

llama.cpp 发布 b12022 版本,主要修复了 server 的 /v1/responses 端点,使其能够接受 extra params 参数。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常规维护

正文结构化主题已通过公开置信门槛
智东西产品发布

百度智能云推出AI Infra与Agent Infra双层底座

百度智能云在武汉超级智能体大会上推出AI Infra与Agent Infra双层基础设施,面向企业智能体落地提供沙箱、计算、网络、存储、可观测和安全等能力,并发布百舸AI计算平台6.0。百度副总裁石清华称百度搭子月活已达千万级,杭州松鲜鲜、武汉硚口基层治理等案例显示智能体已进入企业业务与治理现场。文章认为智能体规模化运行的核心缺口正从模型转向运行底座,云厂商

正文结构化主题已通过公开置信门槛
智东西开源

DeepSeek开源Super-agent超级智能体架构

DeepSeek Harness团队于10月31日晚开源了Super-agent(超级智能体)的底层架构原型,该架构并非新产品,而是将计算机系统中的调度、缓存、存算分离、看门狗等经典思想引入Agent设计。架构包含双层架构(常驻Router层负责交互与分派、隔离Worker层并发执行)、事件驱动、异步多信道交互、存算分离与外部Watchdog五大模块,目标是

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
阿里 FunASR Releases一手来源开源

阿里 FunASR 发布 v1.4.18:修复热词与时间戳对齐

阿里 FunASR 发布 v1.4.18,修复本地热词文件加载、过滤特殊 token 后时间戳对齐以及中文 VAD 分块 token 边界保持等问题。该版本同时附带与 runtime-llamacpp-v0.2.6 配套的多平台预编译 llama.cpp/GGUF 运行时包,并完成 137 项发布/运行时契约检查与 52 个回归用例验证。

10月31日周六 · 6 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

DeepSeek-V4.1-Flash 去审查 GGUF 独立构建发布

Hugging Face 用户 Abiray 发布了 DeepSeek-V4.1-Flash-1017 的独立 GGUF 构建,将 86 个 abliterated(去审查)残差写入张量直接烘焙进量化权重,运行时无需 LoRA。该版本基于 ISTA-DASLab 的 GSQ-RCO 量化模型,保留全部 28 层 1-bit IQ1 M 路由专家层,体积仅增加

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12020 发布:OpenCL 新增 FWHT 支持

llama.cpp 发布 b12020 版本,主要变更是为 OpenCL 后端新增 FWHT(快速沃尔什-哈达玛变换)支持,由高通工程师参与贡献。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、OpenCL A

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12019:修复 qwen3-coder think 块处理

llama.cpp 发布 b12019 版本,主要修复了 chat 功能:在 reasoning format 设为 none 时,对 qwen3-coder 响应中的 think 块进行剥离处理,并预先定义 qwen3-coder 的两种 think 块变体。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vu

正文结构化主题已通过公开置信门槛
量子位产品发布

世界模型首次指导芯片设计:新芯航途X7 Ultra发布,NPU 700TOPS

新芯航途(XHEART)首次公开亮相并发布车规级芯片X7 Ultra,NPU算力700 TOPS,NPU计算利用率达98.7%,量化模型输出与FP32基准相似度超99.99%,内存带宽消耗降低80%、能效提升100%。该芯片与Momenta为姐妹公司关系,首次以Momenta的R7世界模型作为真实量产模型来评测芯片性能,提出“大模型定义芯片”思路。Momen

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

ThinkJev:一次思考覆盖所有预算的校准型决策

研究者提出 ThinkJev,一种无需训练、基于单一混合思考模型(如 Qwen3 系列)的级联决策方法:System 1 直接读取选项字母概率作答,仅在统计检验保证错误率低于目标阈值时单独回答;其余决策升级到 System 2,在已缓存的同一提示上继续思考,并可在任意思考预算下读取同一答案槽的概率。在 8359 个测试决策上,Qwen3.5-27B 以 5%

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

XHToken 发布 Spark-X2.6-4B 端侧智能体模型

XHToken 在 Hugging Face 发布 Spark-X2.6-4B,这是面向端侧部署的紧凑型通用语言模型,沿用 Spark-X2.5-4B 的架构,仅通过改进后训练来提升能力。官方称其在编码、智能体、长上下文、多语言和推理等任务上明显提升,在同等规模开源模型中达到领先水平,部分基准可匹配或超过约 9B 参数模型,并提供 none、low、high