返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3299 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月29日周四 · 5 条
正文结构化主题已通过公开置信门槛
量子位模型发布

扩散智能发布350亿参数扩散语言模型Clover,主打Agent任务

扩散智能发布扩散语言模型Clover-35B-A3B-Preview,采用MoE架构,总参数350亿、每token激活约30亿,支持思考模式,可完成写代码、生成网页、调用工具等Agent任务。在网页Agent评测WindTunnel的49个任务中,其中位执行时间1.52秒,快于Jev+Mercury 2.5组合的3.21秒,成功率98.6%对95.9%;SW

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

用 Amazon Nova Act 实现智能体 QA 自动化(第三部分)

AWS 博客发布系列第三篇,介绍基于 Amazon Nova Act 构建的 QA Studio 新增两项能力:以 application 为单位组织测试并汇总健康指标,以及基于团队和角色的用户权限管理。健康指标通过 CloudWatch 自定义指标记录执行结果,计算 0-100 健康分并对不稳定测试扣分,还提供趋势、flaky 测试和最近失败视图。权限方面

正文结构化主题已通过公开置信门槛
LangChain4j Releases一手来源开源

LangChain4j 发布 1.23.0:新增决策智能体与 Ollama 模型

LangChain4j 发布 1.23.0 与 1.23.0-beta33 版本,新增 OllamaDecisionModel(支持图像)、决策智能体(decision agents)以及 Confidence Cascade 智能体模式,并引入 langchain4j-test 的 LLM 评判与断言能力。同时改进了可观测性(AiServiceInvoca

正文结构化主题已通过公开置信门槛
Google ADK JavaScript Releases一手来源开源

Google ADK JavaScript devtools 发布 v2.4.0

Google 发布 ADK JavaScript 开发工具包 devtools v2.4.0,新增将示例 README.md 展示到 Web UI、从入口点导出版本号,并把 adk-python v0.3.0 的改动移植到 agents、auth、cli 等模块。同时修复了 CLI Dockerfile 固定 Node 24、部署镜像重复打包、Agent E

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Ingot-IV-27B-Q2 三值量化模型发布

Hugging Face 上发布了 Ingot-IV-27B-Q2,这是 Bittensor 子网 Ingot 竞赛中获胜矿工提交的三值量化模型,基于 Prism ML 的 Ternary Bonsai 2 27B 微调,重新调整了分块缩放与归一化权重以更接近 Qwen3.8-27B 教师模型。该模型提供 1.75 bpw(5.95 GB)和 2.125 b

10月28日周三 · 15 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

英伟达开源 Nemotron 3.5 Transcribe,整合转录、翻译与说话人识别

英伟达发布开源语音模型 Nemotron 3.5 Transcribe,该模型支持文本指令,将转录、翻译和说话人识别整合到单一模型中,覆盖多达 40 种语言。模型总参数 300 亿,但每步仅激活约 40 亿,可在单张 GPU 上运行,并在多个基准测试中名列前茅。英伟达同时发布包含 84.4 万小时音频的 Granary v2 数据集及微调工具,便于开发者适配

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Mastra Releases一手来源产品发布

Mastra 发布 1.80.0:用户级连接、Span 聚合与错误分类

Mastra 发布 @mastra/core 1.80.0 等更新,新增 @mastra/connect 的终端用户级 OAuth 连接、聊天内“请求连接”提示、跨 ClickHouse/Postgres/DuckDB 的 span 聚合 API,以及统一的 provider 错误分类与持久化。更新还改进了运行状态订阅和持久执行取消控制,并包含多项破坏性变更

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

英伟达发布开源转写模型 Nemotron 3.5 Transcribe

英伟达发布免费开源权重模型 Nemotron 3.5 Transcribe,支持最多 40 种语言的音频转写,并更新开源语音数据集 Granary 至第二版。该模型可进行 31 种语言与英语互译、处理长达一小时的录音、区分最多 8 位说话人,英伟达称其在 Hugging Face Open ASR Leaderboard 等基准上优于竞品。该模型面向商务会议

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Ingot-XII-27B-Q2 三元量化模型公开镜像发布

Hugging Face 上发布了 Ingot-XII-27B-Q2,这是 Bittensor 子网 Ingot 竞赛中获胜矿工提交模型的公开镜像,基于 Qwen3.8-27B 量化而来。该模型以三元权重存储,提供 1.75 bpw(5.95GB)和 2.125 bpw(7.21GB)两个 GGUF 文件,需使用 PrismML 的 llama.cpp 分支

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering开源

Airbnb 用 Chronon 将推荐嵌入陈旧度从两天降至秒级

Airbnb 扩展了其开源特征平台 Chronon,新增 Push Mode 和近实时(NRT)Model Transform,使基于序列的推荐嵌入能在用户活动后数秒内更新,将嵌入陈旧度从近两天降至不到一分钟(典型 10-30 秒)。离线 NDCG 提升 1.67%,在线 A/B 测试中未取消预订量提升约 0.33%。该方案复用已有的 JourneyForm

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11962:CUDA 融合 MoE gate/up 与 GLU

llama.cpp 发布 b11962 版本,核心变更是 CUDA 后端在 MMQ 中融合 MoE(MUL MAT ID)的 gate/up 与 GLU 计算(PR #31188)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包,并新增 Snapdragon 平台 CPU/Adreno GPU/

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp v0.8.0 发布:新增 LFM3 系列与实时音频 API

llama.cpp 发布 v0.8.0,新增 LiquidAI LFM3 系列(文本、视觉、音频、全模态)支持,并在 mtmd 中引入实验性流式音频 API,同时通过新增的 /v1/realtime 和 /tts 端点实现服务器端实时音频输入输出。该版本还新增 DeepSeek V4.1 Flash、SenseNova U1、Granite Switch D

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11960,版本号升至 0.8.0

llama.cpp 发布 b11960 版本,将版本号提升至 0.8.0 并更新作者信息。该版本提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,包含 CUDA 12/13、Vulkan、ROCm、SYCL、OpenVINO 等多种后端,并附带 UI 包。此次发布为本地大模型推理用户带来

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AtomicChat 发布 Qwen3.8-Flash-Next 去审查 GGUF 与 LoRA

AtomicChat 在 Hugging Face 发布 Qwen3.8-Flash-Next 的去审查(abliteration)版本,通过将拒绝方向从原始权重中投影去除,提供三个预烘焙 GGUF 量化版本和一个 318 MB 的 LoRA 适配器。在留出提示上,英文拒绝率从 92.6% 降至 1.2%,MMLU 仅下降 0.5 分(在噪声范围内),工具调

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

百度发布 Unlimited OCR 2:SR-SWA 实现无界长文档解析

百度发布 Unlimited OCR 2 视觉语言 OCR 模型,提出稀疏参考滑动窗口注意力(SR-SWA),将文本-视觉注意力交互压缩到固定大小的工作参考集(如 512 tokens),使每步解码延迟和内存占用几乎不随文档长度增长。该模型实现有限上下文窗口内的无界文档解析,在 MPDocBench 和 MarathonDocBench 等超长文档基准上达到

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AtomicChat 发布无拒绝版 Nemotron 3.5 Bolt GGUF 量化模型

AtomicChat 在 Hugging Face 发布了 NVIDIA Nemotron 3.5 Bolt 74B-A9B 的 GGUF 量化版本,通过消融(abliteration)技术将模型的拒绝行为从权重中移除,并基于全精度模型构建了三个量化文件。在 JailbreakBench 测试中,拒绝率从 97.5% 降至 0%,MMLU 分数基本不变(81

正文结构化主题已通过公开置信门槛
量子位开源

逐际动力更新 FluxVLA Engine V2 技术报告

逐际动力更新开源具身智能工程底座 FluxVLA Engine 第二版技术报告,新增在线强化学习后训练实验,并扩展仿真评测与真机部署覆盖范围。报告显示,14 种策略接入统一 LIBERO 闭环评测,优化后推理频率提升 2.31–9.64 倍,SmolVLA 经在线强化学习后在 LIBERO-10 和 RoboTwin Clean 上成功率分别提升 10.0

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论开源

逐际动力开源 FluxVLA Engine 具身智能工程底座

逐际动力开源具身智能工程底座 FluxVLA Engine,并于 10 月 22 日发布重要更新及技术报告。该引擎贯通数据、训练、评测、推理与真机部署,支持 OpenVLA、π0.5、GR00T 等多种异构 VLA 模型接入,并通过 CUDA Graph 推理加速、RTC 时序衔接和轨迹后处理解决仿真到真机的工程鸿沟。评测覆盖 LIBERO、RoboCasa

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11953:CUDA 新增 384 专家 top-k MoE 融合

llama.cpp 发布 b11953 版本,主要变更是为 CUDA 后端新增针对 384 个专家的 top-k MoE 融合算子(PR #31288),该改动由 Codex 辅助完成。发布同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进制

正文结构化主题已通过公开置信门槛
量子位研究

无问芯穹登顶英伟达GPU算子榜四大赛道,拿下88项单题第一

无问芯穹(Infinigence AI)在 NVIDIA Research 推出的 GPU 算子性能评测榜单 SOL-ExecBench 上,先后登顶 L1 基础算子、L2 融合算子、Quant 量化算子与 FlashInfer-Bench 推理算子四大赛道;截至 2026 年 10 月 26 日,在全部 235 道题目中以 88 项单题第一居首,超过第二名