返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月6日周二 · 2 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 推出 SageMaker 生成式 AI 推理优化代理技能

AWS 在 SageMaker AI 上推出 aws-ai-ml 技能，通过 Agent Toolkit for AWS 提供给 Kiro、Claude Code、Codex 等支持 MCP 的编码代理。该技能让代理具备推理优化与基准测试能力，可对端点做基准测试、推荐部署配置、比较性能并生成可执行的 SageMaker Python SDK v3 代码。用户

正文结构化主题已通过公开置信门槛
Together AI Blog一手来源产品发布

Together AI 推出 Together Link，在现有编码代理中运行开源模型

Together AI 发布 Together Link，让工程团队在 Claude Code、Claude Desktop、Codex、OpenCode、Pi 等已有编码代理工具中直接运行开源模型。用户只需运行一条命令并配置 Together AI API Key，即可通过 Auto 路由在 GLM 5.3、GLM 5.3 Flash、Kimi K3 等模

10月5日周一 · 18 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11424 发布：修复 Vulkan Flash Attention 越界写入

llama.cpp 发布 b11424 版本，主要修复了 Vulkan 后端 Flash Attention 的共享内存（shmem）越界写入问题（PR #29988）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源产品发布

英伟达Inception初创用AI弥合乳腺癌诊疗缺口

英伟达博客介绍其Inception创业计划中的多家公司利用AI改善乳腺癌诊疗缺口。iSono Health的ATUSA可穿戴自动3D超声系统获FDA许可，约两分钟完成单侧乳房标准化扫描，敏感度比手持2D超声高28%，并计划扩展至多模态诊断。Whiterabbit.ai的WRDensity和WRRisk用于乳腺密度评估与风险预测，并研究新一代乳腺X线AI。At

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源开源

Hugging Face 发布 Olmo-core 3：面向大型 MoE 的开放可扩展训练基础设施

Hugging Face 发布 Olmo-core 3，这是其大模型训练框架的重大升级，核心是重新设计的开放 MoE 训练系统，可扩展到万亿参数规模。它从 FSDP 切换到基于 DDP 的系统，结合专家并行、流水线并行、分布式优化器以及 MXFP8 低精度格式等优化。在 8 张 NVIDIA B300 GPU 上，470 亿参数 MoE 吞吐量达每 GPU

正文结构化主题已通过公开置信门槛
Import AI研究

Import AI 475：群体扩展、DeepMind 生物水印与 AI 科学经济

Toby Ord 分析指出，AI 群体（swarm）可视为一种新的推理扩展形式，虽需更多 token 但并行化能缩短完成时间，且存在类似人类协作的边际收益递减。CSAIP 民调显示 61% 美国人认为企业自愿自律不足，54% 支持政府制定并执行 AI 规则。Google DeepMind 推出 SynthID Bio，为合成生物学数据添加水印以加强生物安全。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11415：修复 server 媒体截断问题

llama.cpp 发布 b11415 版本，主要修复了 server 端对部分媒体截断（partial media truncation）的处理，改为拒绝该情况并仅保留 keep first 修复。同时移除了因 clip image f32 batch 改为按值存储而无法构建的 mtmd 测试辅助改动，以及一个与修复无关的视觉测试。该版本附带 macOS、

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering教程

Elastic 分享为智能体 AI 产品构建可复用评估框架

Elastic 首席数据科学家 Susan Chang 在演讲中介绍了公司为生产环境中的 AI 智能体构建可复用评估框架的实践。Elastic 内部运行攻击发现（attack discovery）和企业聊天机器人等智能体，各团队原本各自创建数据集、评估器和追踪存储，导致重复工作。公司正从分散评估转向共享框架，并强调追踪（tracing）是评估的基础。

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering教程

生产级LLM的平台工程实战手册

文章介绍了一个大型零售企业构建的生产级LLM平台工程实践。团队通过将LLM栈视为平台基础设施而非应用层问题，在不更换基础模型的情况下，将幻觉率从15%降至1.5%。核心手段包括自动重试循环、意图验证门、提示词注册表、工具授权默认拒绝策略，以及在请求入口处对幻觉率和token成本进行可观测性埋点。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11412：修复 k-pool 模型图重分配问题

llama.cpp 发布 b11412 版本，修复了 k-pool 模型（qwen4exp、glm5-next）中因图结构随状态变化而导致的意外图重分配问题，改为始终对池化键执行 scatter+gather 并仅依据上下文常量选择 gather 路径。同时移除了不再使用的 k-pool cache safe 图 API，新增共享序列图预留回归测试，并修复

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11411 修复 KV 缓存旋转元数据不匹配问题

llama.cpp 发布 b11411 版本，修复了 KV 缓存恢复时旋转元数据不匹配的问题：现在会保存精确的 KV 旋转元数据，并拒绝恢复旋转不匹配的缓存。相关状态旋转测试被移入 test-save-load-state，纳入保存/加载测试矩阵，对所有被测模型运行，并跳过不支持的 KV 缓存类型。该修复由 Georgi Gerganov 等人参与完成。

正文结构化主题已通过公开置信门槛
Mastra Releases一手来源产品发布

Mastra 更新：工具可读完整对话，记忆召回支持分页

Mastra 发布 2026 年 10 月 1 日更新，核心包 @mastra/core 升至 1.74.0，新增 agent.getMessages() 让工具在标准与持久化 agent 循环中读取完整对话上下文；观测记忆历史支持 groupId 过滤、排序和 recordId 查询，记忆召回可围绕搜索命中分页浏览观测组。Playground UI 新增无

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

bge-small-en-v1.5 的 MNN fp16 端侧转换版发布

开发者 darkmaniac7 在 Hugging Face 发布了 BAAI/bge-small-en-v1.5 的 MNN fp16 格式转换版本，用于 TokForge 应用在 Android、Linux、iOS 上的端侧推理。该转换通过 MNNConvert 将源仓库的 ONNX 图重新序列化，使嵌入与 LLM 推理统一到单一 MNN 运行时，从而移

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 为 SpacemiT X60 新增 Q8 0 IME1 矩阵内核

llama.cpp 发布 b11408 版本，为 ggml-cpu 后端新增了针对 SpacemiT X60 的 Q8 0 IME1 矩阵内核。此前 X60 上 IME 加速仅覆盖 Q4 0/Q4 1/Q4 K，Q8 0 因无 IME1 内核且未编译 repack 路径而无加速，预填充速度约为 Q4 0 的十分之一。新增 make block q8 0x16

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11407：修复 Vulkan 测试编译错误

llama.cpp 发布 b11407 版本，主要修复了在开启 -DGGML VULKAN RUN TESTS=ON 编译选项时 Vulkan 后端出现的未声明标识符问题（PR #29912）。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，支持 CUDA、ROCm、Vulka

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11406：WebGPU MMVQ 新增多种量化格式支持

llama.cpp 发布 b11406 版本，主要变更为 WebGPU 后端的 MMVQ 路径新增对 Q1 0、Q5 0、Q5 1、Q3 K、Q5 K、Q6 K 及 MXFP4 等量化格式的支持，并为 Q1 0 的 MMVQ 路径引入 K QUANTS HANDLING 宏。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows

正文结构化主题已通过公开置信门槛
vLLM Releases一手来源开源

vLLM v0.31.0 发布：DeepSeek-V4.1-Flash 性能优化与快速重启

vLLM 发布 v0.31.0，包含来自 307 位贡献者的 717 个提交。该版本重点优化 DeepSeek-V4.1-Flash 性能（FlashMLA mega attention、NVFP4 压缩 KV 缓存、DeepGEMM 稀疏 MQA 等），新增快速重启的 vllm preload 权重缓存守护进程与 CRIU 快照，并在 Model Runn

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11404：Metal 新增少行 MMA 矩阵乘法加速投机解码

llama.cpp 发布 b11404 版本，主要针对 Metal 后端新增少行 MMA 矩阵乘法内核，用于加速投机解码中每步少量草稿 token 的验证。此前 Metal 在无 tensor API 时使用 mat-vec 内核，耗时随 src1 行数增长，导致 M3 Ultra 上 DFlash2 解码慢于串行解码。新内核支持 2 至 16 行、多种量化

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

复合AI系统可靠性：150起生产事故的故障分类与韧性模式目录

该研究分析了来自开源复合AI项目及匿名企业部署的150份生产事故报告，构建了涵盖检索、生成、工具、编排和集成五类共23种故障模式的分类体系。针对每类故障，作者提出韧性模式并通过受控故障注入实验测量效果：断路器减少89%级联传播，输出质量门在用户受影响前捕获73%的静默退化，组件隔离减少64%爆炸半径。采用三种以上韧性模式的系统相比无结构监控基线将平均恢复时间