返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3342 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月7日周五 · 9 条
正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源产品发布

Optimum Intel v2.1.0 发布,新增多模型支持

Hugging Face 发布了 Optimum Intel v2.1.0,新增了对多个模型架构的导出和推理支持,包括 Google 的 Gemma 3n 和 Gemma 4 Unified、阿里巴巴的 Qwen3-Omni-MoE 和 Qwen3-VL-Embedding、SmolLM3 以及 Black Forest Labs 的 FLUX.2。该版本通

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS AgentCore 网关推出 AI 流量速率限制功能

AWS 宣布在 Amazon Bedrock AgentCore 网关上支持速率限制功能,允许用户按用户组(如 Basic、Advanced、Beta)对请求速率、令牌吞吐量和并发连接进行精细控制。该功能支持 MCP、推理和 HTTP 目标,并提供了维度键和条目结构来定义速率限制规则。此举旨在保护下游服务免受流量高峰影响,并支持基于 OAuth 或 IAM

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

ChatGPT 免费用户获无限文本聊天,新模型 Luna 上线

OpenAI 宣布取消 ChatGPT 所有用户文本聊天限制,并推出新模型 GPT-5.6 Luna 作为免费和 Go 用户的默认模型,取代 GPT-5.5。Plus 和 Pro 用户将获得升级版 GPT-5.6 Sol 模型,并新增思考滑块以调节推理强度。内部评估显示,新模型的事实错误率显著降低。

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Naïve 融资 2850 万美元,用 AI 代理自动化公司运营

Naïve 是一家提供基础设施让 AI 代理自动完成公司设立和运营的初创公司,已吸引超过 3 万名开发者客户,并在六个月内将年化收入增长 10 倍至数千万美元。该公司完成了由 Nexus Venture Partners 领投的 2850 万美元 A 轮融资,将用于开发模型路由、内存系统、编排器及无服务器运行时等基础设施,以降低代理运行成本。

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

OpenAI 为免费用户提供无限文本聊天,并升级模型

OpenAI 宣布,从下周开始,ChatGPT 的免费和 Go 层级用户将获得无限文本聊天,但包含文件上传和图片的消息仍有限制。同时,OpenAI 为免费和 Go 用户新增“思考”按钮,并将默认模型升级为 GPT-5.6 Luna。对于 Plus 和 Pro 订阅者,GPT-5.6 Sol 模型将更新,提高事实可靠性,并提供新的滑块控制回答的思考量。

另有 3 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER研究

Claude Code 速度最快但成本为最便宜对手近三倍

AI 工具公司 Composio 测试了 DeepSeek V4 Flash 在四个代理框架(Claude Code、Codex、OpenCode 和 Oh My Pi)上的表现,使用 Gmail、GitHub、Slack 和 Notion 等真实工具执行 30 项任务。结果显示,没有单一框架在所有类别中胜出:Oh My Pi 成功率最高(17/30)但速度

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

AWS 为 Bedrock 上的 Codex 提供 OpenTelemetry 与 CloudWatch 可见性方案

AWS 发布了一篇博客,介绍如何通过 OpenTelemetry 和 Amazon CloudWatch 为 Amazon Bedrock 上的 Codex 构建可见性。该方案在开发者本地运行 OTel 收集器,将 Codex 的遥测数据(如 API 请求、令牌使用量)发送到 CloudWatch,并生成仪表盘,帮助组织按用户、团队、部门等维度监控 Code

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

在 Amazon Bedrock 上通过单区域 Claude Code 实现数据驻留

AWS 机器学习博客发布文章,介绍如何在 Amazon Bedrock 上通过单区域 Claude Code 实现数据驻留。文章对比了两种路径:使用 Anthropic 的 Mantle 端点(支持七个区域)和经典 Bedrock Invoke API 配合应用推理配置文件(仅支持伦敦区域),并提供了 IAM 策略和 CloudTrail 验证方法。该方案帮

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

PDI Brew:基于 Amazon Bedrock 和 Lambda 的智能应用部署平台

AWS 博客介绍了 PDI Technologies 构建的 PDI Brew 平台,该平台允许非技术员工用自然语言描述需求,在数秒内获得一个多租户 Web 应用,并自动集成 SSO 和 AWS 资源。平台采用双代理架构:规划代理在 AI 助手中捕获意图并生成部署清单,供应代理在 AWS Lambda 中执行部署。所有应用通过受控网关访问 Amazon Be

8月6日周四 · 11 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

MiniMax H3 发布 GGUF 量化版本,支持多模态视频生成

Hugging Face 上发布了 MiniMax H3 模型的 GGUF 量化版本(Abiray/MiniMax-H3-GGUF),该模型是 MiniMax 推出的全模态生成系统,支持文本、图像、视频和音频的统一理解与生成,可生成带原生立体声的 2K 分辨率、最长 15 秒的视频。该仓库提供了多种量化精度的 UNet 模型(FL2VA 和 Ref2VA 模

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源产品发布

Baseten 加入 Hugging Face 推理提供商,支持多款前沿模型

Hugging Face 宣布 Baseten 成为其推理提供商生态的新成员,用户可在 Hub 模型页面和 SDK 中直接使用 Baseten 托管的模型。Baseten 支持多种模型类型,初期提供对话和文本生成任务,包括 Kimi K3、DeepSeek V4 Flash 等。用户可通过自定义 API 密钥直接调用,或通过 Hugging Face 路由计

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

GPT-Live 底层拆解:OpenAI 如何将音频帧延迟降至旧系统 p50 水平

OpenAI 发布 GPT-Live 工程文章,详细披露新版 ChatGPT 语音系统的架构改造,包括多路实时传输网络、自定义 WARP 协议、模型实例迁移和双模型协作等。新系统将 p95 音频帧延迟降至旧系统 p50 水平,并将 WebRTC 通道启动从 6 次往返缩短至 1 次。文章指出实时性依赖系统调度而非单纯模型速度,并提示了持续推理成本等未公开数据

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10297 发布:修复 /cors-proxy 空响应问题

llama.cpp 发布 b10297 版本,主要修复了 server 中 /cors-proxy 端点返回空响应的问题。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件,支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Qwen3.8 Max追平Claude Opus 4.8,但Kimi K3更优且成本低25%

阿里巴巴的Qwen3.8 Max在Artificial Analysis Intelligence Index上得分56,追平Claude Opus 4.8,但落后于Kimi K3(57分),且Kimi K3成本低25%。在GDPval-AA基准上,Qwen3.8 Max得分超过Kimi K3,但需要更多步骤和输入token,导致成本更高。此外,该模型在AA

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10295 发布:修复量化张量步长问题

llama.cpp 发布 b10295 版本,主要修复了量化张量重塑后的步长问题(#26672)。该版本提供了适用于 macOS、Linux、Windows、Android 和 openEuler 的多种预编译二进制文件,支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse v4.5.0 发布:新增提示词批量导入导出与 Agent 静默模式

Langfuse 发布 v4.5.0 版本,新增提示词批量导入导出、Agent 工具静默模式、按用户和组织限制并发后台运行等功能,并修复了多项 UI、追踪、OTel 和 Worker 相关问题。该版本还更新了定价模型,支持 GPT-5.4/5.5 大上下文层级,并优化了错误监控和代码结构。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10293 发布:新增 AMD ROCm CI 支持并修复 RDNA3.5 推理问题

llama.cpp 发布 b10293 版本,主要更新包括为 AMD ROCm CI 添加 gfx1151 支持,并修复了集成 GPU 上的调试断言问题。针对 RDNA3.5 架构的 HIP 后端,通过启用 HIP LAUNCH BLOCKING 解决异步执行导致的推理错误,并暂时跳过 jamba 和 top-k 等不支持的测试。该版本提供了多平台预编译二进

正文结构化主题已通过公开置信门槛
Mastra Releases一手来源产品发布

Mastra 发布更新:声明式工作流持久化与实验评估增强

Mastra 发布 2026 年 8 月 5 日更新,核心亮点包括:工作流支持声明式 JSON 图定义与持久化,可通过 HTTP API 和客户端 SDK 管理存储的工作流;新增谓词 DSL 和嵌套工作流步骤,实现可持久化的条件与循环;实验与评估功能增强,支持更细粒度的评分器控制和工具策略;可观测性与流式传输可靠性改进。同时包含破坏性变更,移除平台工作区的密

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10291 发布:修复 Vulkan 提交批处理并新增调试工具

llama.cpp 发布 b10291 版本,主要修复了 Vulkan 后端中提交批处理大小的问题,并新增了用于诊断 DeviceLost 驱动错误的调试工具。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件,涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

金刚GC3芯片发布:RISC-V数据流架构重新定义视频AI算力

在CCF Chip 2026大会上,中科通量发布了全球首款RISC-V数据流架构视频智能AIGC芯片金刚GC3,该芯片采用12核设计,支持128路1080P硬解码,INT8算力达200 TOPS。金刚GC3通过数据流架构优化视频处理效率,旨在解决通用芯片在视频AI场景下的能耗和延迟问题,标志着国产RISC-V高端算力在视频专用领域的商业化提速。