部署工程

vLLM v0.28.0 发布：Kimi-K3 与 DeepSeek V4 性能优化

vLLM 发布 v0.28.0 版本，包含 584 个提交，重点优化了 Kimi-K3 和 DeepSeek V4 的性能，支持稀疏 MLA、DCP、FlashKDA 等特性，并改进了推测解码和模型运行器。该版本还引入了新的默认配置、破坏性变更，并扩展了模型支持，如 Muse Glimmer、Ling 3.0 Flash 等。

Twilio 为 Apache Hudi 管道提出基于时间的队列延迟度量方法

Twilio 在 PB 级数据湖管道中，针对 Apache Hudi 的 Kafka 数据摄入，提出了一种基于时间在队列中等待的延迟度量方法，以替代传统的 offset lag。该方法通过读取 Hudi 提交文件中的 checkpoint，计算最新未消费消息的时间戳与当前时间的差值，从而准确反映数据新鲜度，并支持自定义 SLA 告警。该方案无需修改现有管道，

OpenCompass v0.5.4 发布：集成多模态评估与多轮推理

OpenCompass 发布 v0.5.4 版本，集成了 VLMEvalKit 以支持多模态评估，并新增多轮推理能力及 Multi-IF 基准。该版本扩展了模型 API 生态，支持 LiteLLM 网关和 TurboMind 的 PPL 评估，并新增了金融、长上下文、对齐、信息抽取和代码推理等多个基准测试。此外，修复了多项评估正确性和生成行为问题，并提升了安

LiteLLM v1.100.0-dev.1 发布：镜像签名验证及多项修复

LiteLLM 发布了 v1.100.0-dev.1 版本，该版本的所有 Docker 镜像均使用 cosign 进行签名，并提供了通过提交哈希或发布标签验证签名的方法。此版本包含多项修复和功能改进，包括修复 responses 桥接、新增 New Relic 按团队追踪、改进 Azure AI Foundry 的认证支持，以及多项 UI 和 CI 优化。

OpenAI自研芯片「小辣椒」实测碾压英伟达Blackwell，但英伟达股价反涨

OpenAI自研推理芯片「小辣椒」在SemiAnalysis的实测中，以700W功耗实现每瓦吞吐最高1.9倍于英伟达Blackwell，推理时延低3.6倍，在多个开源模型上击败英伟达、AMD和谷歌芯片。该芯片由博通合作设计，采用台积电N3P工艺和HBM4内存，计划2027年量产。尽管性能领先，OpenAI仍表示不会弃用英伟达，英伟达股价反而上涨2.19%。此

NVIDIA Dynamo 影子引擎恢复：秒级恢复 LLM 推理容量

NVIDIA Dynamo 推出影子引擎恢复预览功能，通过 GPU 内存服务（GMS）在活动引擎旁保持一个完全初始化的空闲引擎，并共享权重，避免冷重启。在 GLM-5.2 双工作节点部署中，故障恢复时间从 283 秒降至 7.3 秒，提速约 39 倍。该功能解决了权重与进程绑定及初始化状态不可转移的问题，支持 vLLM、SGLang 和 TensorRT-L

Amazon OpenSearch Service MCP Apps 实现 IDE 内可观测性验证

AWS 发布了 Amazon OpenSearch Service MCP Apps，该功能扩展了 Model Context Protocol，使 AI 代理的工具调用能返回交互式可视化结果（如追踪瀑布图、服务拓扑图），直接在 IDE 聊天窗口中渲染。这解决了可观测性代理验证环节需要切换浏览器、手动核对的问题，让工程师在对话线程内完成验证。MCP Apps

OpenAI自研芯片Jalapeño基准测试超越Nvidia Blackwell和Rubin

OpenAI在Hot Chips大会上展示了其首款自研推理芯片“Jalapeño”的基准测试结果，声称其在每瓦吞吐量和token延迟上优于Nvidia的Blackwell和Rubin芯片。该芯片由OpenAI与博通合作开发，历时约16个月，其中设计周期仅9个月，并使用了OpenAI自身的模型辅助设计。SemiAnalysis的测试显示，Jalapeño在性能

英伟达Groq 3 LPX全面投产：长上下文推理速度达3431tokens/s

英伟达宣布面向Vera Rubin平台的Groq 3 LPX交互式推理机架全面投产，这是其收购Groq技术后首款商业化落地的机架级专用推理系统，专为AI Agent场景设计。第三方机构Artificial Analysis测试显示，在10万tokens长上下文下该产品输出速度达3431tokens/s，是当前公开同类方案的近4倍，且无精度损失。该产品与Ver

IBM 发布 Granite Speech 5.0 Turbo CTC：超快语音识别模型

IBM 发布 Granite Speech 5.0 Turbo CTC 系列，包含两个 470M 参数的英语语音识别模型，在 NVIDIA H200 GPU 上实现超过 12,600 RTFx 的吞吐量，可每秒转录超过 3.5 小时的语音。模型采用编码器-only 设计，相比前代速度提升 20 倍以上，适合边缘设备使用。非商业版本（CC-BY-NC-SA-4

OpenAI Jalapeño芯片基准测试显示推理性能大幅领先

OpenAI在Hot Chips会议上公布了其定制推理芯片Jalapeño的详细信息和首批基准测试结果。在Semianalysis的InferenceX基准测试中，Jalapeño在每用户token数和每千瓦吞吐量上均优于当前最先进的Nvidia Blackwell系统。该芯片由OpenAI与博通合作开发，旨在减少推理过程中的预填充和通信延迟，计划于2026

另有 1 家信源报道

OpenAI 发布 Jalapeño 芯片，推理性能超越 Nvidia

OpenAI 发布新款 AI 芯片 Jalapeño，宣称其推理性能优于 Nvidia 的 GB200/GB300 超级芯片，能效提升 1.5 至 1.9 倍，端到端延迟降低 1.7 至 3.6 倍。该芯片由 OpenAI 与 Broadcom 合作设计，专为 AI 推理优化，计划于今年年底小规模部署，2027 年扩大规模。OpenAI 表示不会完全替代现有

另有 2 家信源报道

英伟达称Groq 3 LPX比Cerebras快四倍，但对比有失公允

英伟达宣布其推理加速器Groq 3 LPX进入全面生产，该芯片针对AI代理的快速token生成进行了优化。在Artificial Analysis的基准测试中，该系统达到每秒3400个token，英伟达称其速度是竞争对手Cerebras的四倍。然而，专家指出该对比对英伟达有利，因为其架构需要至少64个芯片才能达到该结果，而Cerebras仅需一到两个加速器。

Dify v1.17.0 发布：Agent 沙箱、技能管理、统一追踪等新特性

Dify 发布 v1.17.0 版本，新增多项功能：Agent 支持 E2B 云沙箱、构建时快照和工作区级技能管理；工作流中可复用 LLM 环境变量；循环和迭代节点支持人工输入；提供统一追踪、Cloudflare Turnstile 验证码、Azure Key Vault KMS、TiDB 混合搜索等。此外，改进了无障碍性、工作流稳定性和内部测试质量。

MLX v0.32.2 发布：多项修复与性能优化

MLX 发布了 v0.32.2 版本，包含多项修复和性能优化，如保留 subnormal 浮点值、支持 Ellipsis 索引、修复 divmod 截断问题、为 scaled dot product attention 添加 force fused 选项等。此外，还更新了 nanobind 至 2.15.0，并新增了 AI 使用政策。

llama.cpp 0.3.0 发布：新增多模态模型与多项推理优化

llama.cpp 0.3.0 版本发布，新增 dots3-note 多模态模型及 DSA-ISWA KV 缓存，支持 GLM-4.5-Air 的 MTP 预测，并为 DeepSeek 4 添加张量分割模式和多序列回滚修复。ggml 升级至 v0.22.0，服务器新增调试参数，Web UI 支持标签页聊天导航。

llama.cpp 发布 b10621 版本，升级至 0.3.0

llama.cpp 发布 b10621 版本，将版本号升级至 0.3.0，并更新了 CI 发布默认描述，添加了生成发布摘要的脚本。该版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件，支持多种硬件后端如 Vulkan、ROCm、CUDA、OpenVINO 等。

Langfuse v4.18.0 发布：新增评估过滤器与多项修复

Langfuse 发布 v4.18.0 版本，新增基于负载的评估规则过滤器，并刷新了全大写、精确匹配和关键词重叠的模板。该版本还改进了 OTel 日志记录、应用内代理的工具审批来源记录，并修复了定价、分页、过滤器、自动化、OTLP 摄入限制、评估重试和 UI 显示等多个问题。此外，还调整了 GPT-5.4 推理令牌和 GPT-5.6-sol 的价格。

llama.cpp b10620 发布：同步 ggml 并更新多平台二进制

llama.cpp 发布 b10620 版本，主要同步了 ggml 子模块。该版本提供了覆盖 macOS、Linux、Windows、Android 及 iOS 的多平台预编译二进制包，支持 CPU、Vulkan、ROCm、CUDA、OpenVINO、SYCL 等多种后端，并附带 UI 组件。

Qwen3.6-35B-A3B 无审查多模态模型 Genesis Hermes V10 发布

LuffyTheFox 发布了基于 Qwen3.6-35B-A3B 的无审查多模态 MoE 模型 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V10-GGUF，该模型通过其自研的 Genesis 算法对 GGUF 格式的模型进行张量噪声修复，并融合了 Hermes 智能体微调数据。模型在保持无审查能力的同时，旨在提升稳