返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3311 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月17日周六 · 11 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11702:为 Adreno X1 新增 MxFP4 MoE 内核

llama.cpp 发布 b11702 版本,主要变更为在 OpenCL 后端为 Adreno X1 设备新增 MxFP4 MoE 二值化 GEMM 内核 gemm moe mxfp4 q8 1 dp4a ila ldck,并为 X1E 启用 dp4a CLC。该改动由高通工程师提交,旨在提升骁龙 X 系列平台上的 MoE 模型推理效率。版本同时提供 mac

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11701:新增 Beam (Reflection) 支持

llama.cpp 发布 b11701 版本,主要变更是为模型新增 Beam(Reflection)支持(PR #30670)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 用 Amazon Bedrock AgentCore 构建生产级 AI 智能体评估框架

AWS 的销售、营销与全球服务(SMGS)运营团队构建了一个服务全球 AWS 现场销售的多智能体系统,包含 Performance Insights、Customer Insights 和 Data Insights 等子智能体,用于以自然语言回答业务问题。团队发现传统监控无法发现智能体「流畅但错误」的回答,例如把 410.08 美元误报为 4.1008 亿

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11700 新增 Granite Switch 决策模型支持

llama.cpp 发布 b11700 版本,主要新增对 IBM Granite Switch 决策模型(decision model)的转换与推理支持,并允许该模型同时进行聊天与决策。相关改动由 IBM 的 Gabe Goodhart 提交,期间部分 chat+decision 支持被回滚,最终简化为 Granite Switch 支持决策时也始终支持文本

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11699 修复 HTTP 代理支持

llama.cpp 发布 b11699 版本,主要修复了 common http client() 忽略标准代理环境变量的问题,使 -hf 等下载功能在 HTTP 代理环境下不再静默失败。新版本支持 HTTPS PROXY/HTTP PROXY、NO PROXY,并对格式错误的代理 URL 发出警告,同时强制对 localhost、127.0.0.0/8、:

正文结构化主题已通过公开置信门槛
智东西商业

理想汽车芯片子公司马赫心科技融资16.25亿元,估值171亿元

理想汽车旗下芯片子公司上海马赫心科技签署首轮股权融资协议,融资金额16.25亿元,由杭州经韬、蓝驰创投及华业天成领投,奇绩创坛参与投资,若追加认购权悉数行使,投后估值达171亿元。理想汽车仍持股74.01%保持控股。新融资将支持其芯片研发与商业化,并拓展非汽车领域。理想自研马赫M100芯片为全球首款动态数据流AI芯片,采用5nm车规级工艺,单颗算力1280T

正文结构化主题已通过公开置信门槛
智东西产品发布

联想YOGA Pro 15 RTX Spark开售,端侧可跑千亿参数大模型

联想YOGA Pro 15 RTX Spark超级AIPC于10月16日全渠道开售,售价29999元起,是全球首批搭载NVIDIA RTX Spark N1X超级芯片的本地智能体AIPC。该机集成6144核Blackwell RTX GPU与20核Grace CPU,可释放1 Petaflop FP4本地AI算力,支持至高128GB统一内存,能跑通超千亿参数

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源产品发布

NVIDIA 发布 RTX Spark,单机完成 AI 编码测试部署

NVIDIA 发布 RTX Spark,一款面向 AI 开发的笔记本和紧凑台式机产品线,搭载 GB10 系统级芯片、Grace CPU 与 Blackwell GPU,最高 128GB 统一内存和 1 petaflop FP4 AI 算力,让开发者可在单机上完成编码、测试和部署。NVIDIA 同时宣布与微软合作推进 Windows on Arm 开发者生态,

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

IsValorum 发布 Qwen3.8-27B EfficientThink VAL-APEX-I MiniPlus V3 GGUF 量化版

Hugging Face 用户 IsValorum 发布了 Qwen3.8-27B-EfficientThink 模型的 VAL-APEX-I MiniPlus V3 GGUF 量化版本,文件大小 13.91 GB,整文件 BPW 为 4.14,WikiText-2 困惑度为 5.5923。该版本声称修复了旧版存在的循环状态不稳定、上下文退化和语言混用问题,

正文结构化主题已通过公开置信门槛
LangGraph Releases一手来源开源

LangGraph CLI 发布 0.4.36 修复部署别名与 Docker 上下文

LangGraph 发布 langgraph-cli 0.4.36 版本,包含三项变更:版本发布提交、修复 CLI 接受 serverless 与 dedicated 部署别名的问题,以及修复 langgraph deploy 中传递当前激活 Docker 上下文的问题。该更新主要面向使用 LangGraph CLI 进行部署的开发者,提升部署命令的兼容性与

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

Elorian发布首个AI模型Glimpse,主打图像推理而非仅描述

帕洛阿尔托AI初创公司Elorian发布首个模型Glimpse,该模型以研究预览形式推出,提供API访问,聊天界面仅限候补名单。Glimpse的核心思路是让模型在推理过程中反复回到图像源,通过裁剪、抽帧或运行代码来测量和比较视觉内容,Elorian称之为“视觉暂存空间”。公司称该模型用几百块GPU训练,规模远小于前沿系统,在科学图表推理和短视频描述任务上表现

10月16日周五 · 9 条
正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Jev 成为 Vercel 史上采用最快的 AI 模型

Vercel 数据显示,Typesafe AI 于 9 月 15 日限量发布的轻量决策模型 Jev 在两周内被 35% 的付费团队采用,成为 Vercel 平台上采用最快的 AI 模型,采用率接近第二名 Sonnet 5.5 的两倍。Jev 通过限制输出选项实现更低成本、更快速度,适合大规模数据分类,其思路已引发 OpenAI、亚马逊等推出竞品。数据还显示开

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源模型发布

Reflection AI 发布开源权重智能体编程模型 Beam,可在 AWS 部署

Reflection AI 发布开源权重模型 Beam,面向智能体编程和长周期任务,支持代码维护、工具调用和多步工作流。Beam 为稀疏混合专家模型,总参数 5010 亿、激活参数 230 亿,有效上下文长度 100 万 token,以 Apache 2.0 许可在 Hugging Face 发布 BF16、FP8、NVFP4 检查点。AWS 博客介绍了在

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

英伟达 RTX Spark 笔记本一周实测:性能强劲但价格高昂

The Verge 三位作者用一周时间测试了搭载英伟达 RTX Spark N1X 处理器的五款高端笔记本,包括微软 Surface Laptop Ultra、华硕 ProArt P16、联想 Yoga 9n 和惠普 OmniBook Ultra。这些 Arm 架构笔记本配备 20 核 CPU 与 6144 CUDA 核心,售价从 3199.99 美元到 6

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse v4.63.0:AI Gateway 路由与 Skills 预览更新

Langfuse 发布 v4.63.0 版本,主要更新包括:AI Gateway 支持将无前缀的 codex- 模型路由至 OpenAI 连接、按来源归因错误并测量网关开销、服务端校验连接名称;Skills 功能以公开 v4 预览形式开放并新增使用指标标签页;应用内助手支持向用户发起简短问卷。此外还修复了依赖安全补丁、MCP 超时分类、计费统计等问题。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

NVIDIA 发布 Nemotron 3.5 Bolt 74B-A9B 全精度视觉语言模型

NVIDIA 在 Hugging Face 上发布了 Nemotron 3.5 Bolt 74B-A9B 的 BF16 全精度版本,这是一款面向本地智能体任务的视觉语言模型,采用 Mamba-2 与 Transformer 混合的 LatentMoE 架构,配备 C-RADIO v4-H 视觉编码器,支持最高 256K 上下文及文本、图像、视频输入。该版本主

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Jebadiah 9B v2 决策模型 GGUF 量化版发布

Hugging Face 上发布了 frontier-infra/jebadiah-9b-v2-GGUF,这是 Jebadiah 9B v2 决策模型的 GGUF 量化版本,支持 llama.cpp、Ollama 和 LM Studio。该模型不是聊天模型,而是对类型化问题(choice、noul、score)通过一次前向传播输出每个选项的概率。仓库提供了

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Unsloth 发布 MiniMax-H3 的 GGUF 量化版,支持本地视频生成

Unsloth 发布了 MiniMax-H3 的 GGUF 量化版本,支持本地运行,兼容 stablediffusion.cpp 和 Unsloth 平台。该模型能生成带原生立体声音频的视频,最长 15 秒、24 FPS、32 kHz 音频。提供两种去噪器变体(fl2va 和 ref2va)及多种量化等级,并附有使用示例和许可证说明。

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering观点

Grafana 将 SLO 与错误预算应用于 AI Agent 行为

Grafana Labs 提出将站点可靠性工程中的 SLO 与错误预算方法应用于 AI Agent 行为评估,把幻觉、任务完成度、毒性、成本等行为转化为可测量的 SLI 与 SLO 目标。该方法强调质量是多维的,应分别度量而非合并为单一分数,并通过错误预算消耗来发现 Agent 质量的渐进式漂移。文章同时指出,SLO 的有效性取决于底层评估的准确性,仍需代表

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11695:为 Mellum2.1 增加 MTP 支持

llama.cpp 发布 b11695 版本,主要变更为 Mellum2.1 模型增加 MTP(多 token 预测)支持,并在 Mellum 中改为内联 rope 构造。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。