返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3302 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月27日周二 · 11 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11909:Hexagon MUL MAT ID 跳行优化

llama.cpp 发布 b11909 版本,主要针对 Hexagon NPU 后端优化 MUL MAT ID 的跳行(row skipping)处理,包括对跳过行的清零操作进行向量化,并在融合的 MM ID NX 路径中加入清零,同时移除标量除法。该版本同步提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUD

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11908:no alloc 移出 llama hparams

llama.cpp 发布 b11908 版本,主要变更是将 no alloc 从 llama hparams 中移出,并进行了代码清理,同时在 test-llama-context 中新增 no alloc 测试用例。该版本同步提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVIN

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

GPT-6.1 Terra 发布:API 价格减半,性能仍逼近更大模型

OpenAI 发布中端模型 GPT-6.1 Terra,API 价格仅为前代 GPT-5.6 Terra 的一半,输入每百万 token 1 美元、输出 5 美元,主打办公任务与自动化软件控制。Artificial Analysis 称其刷新了「每美元智能」基准,在智能指数上比前代高 6 分而单任务成本不到三分之一,并显著降低幻觉率。该模型达到 OpenAI

另有 3 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER商业

Anthropic 递交 S-1 冲刺纳斯达克:营收创纪录,算力承诺超 7800 亿美元

Anthropic 向 SEC 提交 S-1 文件,计划以代码 "ANT" 在纳斯达克上市,成为首家公开递交招股书的主要 AI 实验室。文件显示其 2026 年 Q2 营收达 116 亿美元,首次实现 9.74 亿美元 GAAP 营业利润,但长期算力承诺高达 7800 亿至 8100 亿美元。现有客户支出同比增长约 9 倍,80% 收入来自按 token 用

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11905:Vulkan 后端 RMS Norm 子组归约优化

llama.cpp 发布 b11905 版本,主要变更是 Vulkan 后端利用 subgroup reductions 优化 RMS Norm 计算,并加入 AMD 厂商支持、快速路径跳过第二次 subgroupAdd、循环展开以及 128/256/512 块大小的非 subgroup 路径。该版本同时提供 macOS、iOS、Linux、Android、

正文结构化主题已通过公开置信门槛
Vercel AI SDK Releases一手来源API 更新

Vercel AI SDK 发布 ai@7.0.154 补丁更新

Vercel AI SDK 发布 ai@7.0.154 补丁版本,为 generateText、streamText、ToolLoopAgent 及遥测集成新增 onStepError 回调,并为 ToolLoopAgent 增加 onError 和 onAbort 回调。同时新增 aiVersion 遥测字段,便于追踪订阅方识别发出事件的 ai 包版本,并

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11904:SYCL MMVQ 启动三元组模板化

llama.cpp 发布构建版本 b11904,主要变更是将 SYCL 后端的普通 MMVQ 启动三元组改为模板化(PR #31013)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端。

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

DigitalOcean 推出学习与数据服务,支持自我改进的 AI 智能体

DigitalOcean 宣布 Learning Services 与 Agent Data Services 进入公开预览,前者包含 Insights、Signals、Simulations 三项能力,用于记录智能体活动、识别失败与性能缺口,并在部署前通过模拟对话测试改进方案;后者为智能体提供统一的数据基础,可处理文档、音视频、日志和会话记录。两项服务建立

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

AI 智能体的土拨鼠之日:Amazon Bedrock 上 OpenAI 模型的提示缓存模式

AWS Machine Learning Blog 发布技术文章,介绍在 Amazon Bedrock 上使用 OpenAI 模型时,如何通过提示缓存(prompt caching)降低 AI 智能体的成本。文章解释了智能体每一轮都需重发工具定义、指令和历史记录,导致重复计费;提示缓存通过保存 prefill 阶段的 KV 状态,在后续请求中复用相同前缀,按

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

用 CDK 在 Amazon Bedrock 托管知识库上构建 Agentic 检索

AWS 博客介绍如何用 AWS CDK 在 Amazon Bedrock 托管知识库(Type: MANAGED)上构建企业级 agentic retrieval。文章对比传统单次 RAG 的局限,说明托管知识库接管了摄取、存储、索引和检索,并配合 Bedrock AgentCore 的 Gateway(将知识库暴露为 MCP 工具)、Runtime 和 A

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源产品发布

NVIDIA Minerva:用 AIOps 把遥测混乱转化为 GPU 产出

NVIDIA 发布技术博客介绍其 AI 原生 AIOps 平台 Minerva,用于解决 AI 工厂中 GPU 集群遥测数据分散、故障诊断困难的问题。Minerva 跨 GPU、Spectrum-X/NVLink 交换机、存储、调度器等采集指标与日志,通过自动发现构建动态知识图谱,将基础设施与运行中的训练任务关联,并用监督与无监督机器学习识别“灰色故障”。平

10月26日周一 · 9 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11899:mtmd 新增能力查询接口

llama.cpp 发布 b11899 版本,核心变更是为 mtmd(多模态)模块新增 mtmd helper get capabilities 接口,用于查询多模态能力,并补充 audio stream、audio gen spk ref、text gen 等能力标记,同时保留旧 API 以维持兼容。该版本同步提供 macOS/iOS、Linux、Andr

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11898:修复 ARM 架构未使用变量

llama.cpp 发布 b11898 版本,主要修复了 ggml-cpu 中 ARM 架构下未使用变量的编译问题(#31180)。同时该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AtomicChat 发布 Muse Glimmer 30B GGUF 量化版

AtomicChat 在 Hugging Face 发布了 Meta Muse Glimmer 30B 的 GGUF 量化版本,基于原始 BF16 权重并采用校准的重要性矩阵与实测选定的位布局。该版本已合并进 llama.cpp master,可在单张 RTX 5090 上以 24.6 GB 显存运行完整多模态、工具调用与投机解码,生成速度提升 1.8 倍。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AtomicChat 发布 Nemotron 3.5 Bolt 74B-A9B 的 GGUF 量化版本

AtomicChat 在 Hugging Face 发布了 NVIDIA Nemotron 3.5 Bolt 74B-A9B 的 Atomic Dynamic GGUF 量化版本,基于 NVIDIA 原始 BF16 权重和自建重要性矩阵构建,采用标准 llama.cpp 量化类型。该版本提供从 Q8 0 到 IQ1 M S 共 13 个文件,其中 21.9

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AtomicChat 发布 Nanbeige4.3-33B GGUF 量化版本

AtomicChat 在 Nanbeige 发布 Nanbeige4.3-33B 当天,基于其原始 BF16 权重制作并发布了 GGUF 量化版本,包含自研重要性矩阵的 Atomic Dynamic 系列(13.7GB 至 30.1GB)以及 llama.cpp 原生 Q8 0、Q5 K M。该模型为 33B 稠密 agent 与推理模型,Llama 架构、

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse 发布 v4.70.1 维护更新

Langfuse 发布 v4.70.1 版本,主要包含依赖升级(Node 升至 24.22.1)、从模型选择器中移除已退役的旧版 OpenAI 快照、移动端 Topics 功能优化、Web 端签名 URL 过期续期修复,以及 AI Gateway 遥测刷新关闭预算的修复。该版本为常规维护性更新,未涉及新功能发布。

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering观点

智能体执行框架的演进:从链到图再到代码

InfoQ 发表文章,梳理 agentic harness(智能体执行框架)从 Chains、Graphs 到 Code 三种范式的演进。文章指出,Chains 是线性工作流,构建快但脆弱,上游单点失败会级联;Graphs 通过节点和边引入显式控制流,支持条件分支、并行、状态管理和多智能体编排;Code harness 把执行当作一等原语,借助沙箱和迭代精炼

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11897:重构架构测试以支持 Windows 共享库构建

llama.cpp 发布 b11897 版本,重构了 test-llama-archs 测试,使其不再链接内部 libllama 符号,从而修复了在 Windows 共享库(DLL)构建下无法编译的问题。改动包括在 llama-ext.h 中声明 llama arch 包装函数、将模型保存测试改用公开的 llama model save to file(),

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

MiniCPM-V 4.7 35B-A3B 开源 MoE 多模态模型发布

面壁智能(OpenBMB)发布 MiniCPM-V 4.7 的 35B-A3B 版本,这是 MiniCPM-V 系列首个 MoE 多模态模型。该模型借助 Lookahead Expert Scheduling(LES)、细粒度分层量化和 DSpark 投机采样,成为首个可在端侧无损流畅运行的开源 MoE 模型,在 iPhone 17 Pro Max 上仅用