llama.cpp b10664 发布：Hexagon HTP 新增 ABS 与 LOG 加速
llama.cpp 发布 b10664 版本，为 Hexagon HTP 后端新增了 ABS 和 LOG 两个一元运算的 HVX 加速实现，提升了在 Qualcomm 平台上的推理性能。该版本同时提供了覆盖 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3335 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
8月28日周五 · 9 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b10663 发布：修复 RMS NORM MUL 权重偏移 bug
llama.cpp 发布 b10663 版本，修复了 RMS NORM MUL 权重偏移在分组/广播归一化中的 bug。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。
正文结构化主题已通过公开置信门槛
llama.cpp b10662 发布：新增统一 KV 缓存槽位参数
llama.cpp 发布 b10662 版本，主要更新为 server 端新增 ctx-per-slot 参数（--kv-unified-per-slot），用于统一 KV 缓存管理，并重构了上下文池槽位逻辑。该版本提供了多平台（macOS、Linux、Windows、Android、iOS）的预编译二进制文件，支持多种硬件后端如 CUDA、Vulkan、R
正文结构化主题已通过公开置信门槛
Ollama v0.33.2 发布：修复深色模式与代理请求
Ollama 发布了 v0.33.2 版本，主要修复了系统深色模式恢复、模型目录变更时代理请求的连续性，以及 macOS 应用的手势同步问题。这些改进提升了用户体验和稳定性。
正文结构化主题已通过公开置信门槛
DeepSpeed v0.19.6 补丁发布：修复与 Apple Silicon 支持
DeepSpeed 发布了 v0.19.6 补丁版本，包含多项修复和功能改进，如修复 Ulysses 序列并行中的检查点选择、ZeRO-3 冻结参数问题，并新增对 Apple Silicon (MPS) 的支持（包括 Metal FusedAdam 内核）。此外，还实现了可配置的梯度求和归约、原生主机内存固定后端，以及 AutoTP 的不均匀分片和通用检查点
正文结构化主题已通过公开置信门槛
AWS在印度推出OpenAI GPT-5.6模型，支持境内推理
AWS宣布Amazon Bedrock在印度支持OpenAI GPT-5.6模型（Terra和Luna），通过印度地理跨区域推理，确保数据在印度境内处理，满足金融、医疗和公共部门的数据驻留要求。模型支持100万token上下文窗口，可处理文本和图像输入。文章介绍了如何使用推理配置文件、控制台和API（包括OpenAI Responses API和Bedroc
正文结构化主题已通过公开置信门槛
谷歌发布Gemini Omni 1.1 Flash，视频生成更便宜更灵活
谷歌发布了Gemini Omni 1.1 Flash视频生成模型，支持场景扩展、风格参考和关键帧控制，并新增360p草稿模式，速度提升60%，成本降低至720p的三分之一。该模型通过Google AI Studio和开发者文档提供，定价按秒计算，从360p的0.03美元到4K的0.30美元不等。
正文结构化主题已通过公开置信门槛
Deepgram 增强 SageMaker AI 可观测性，推出计费与引擎级指标
Deepgram 宣布在 Amazon SageMaker AI 上推出两项新的可观测性功能：Deepgram Enhanced Metrics 和 Prometheus/OpenTelemetry 支持。前者通过 CloudWatch Embedded Metric Format 将计费和用量指标直接发布到用户的 CloudWatch 账户，无需额外代理或
正文结构化主题已通过公开置信门槛
AWS 与 NVIDIA 合作：利用 MPS 将 ASR 推理成本降低 75%
AWS、NVIDIA 与 Heidi Health 合作，展示了使用 NVIDIA CUDA MPS 和 Triton 推理服务器在 Amazon EC2 上优化 ASR 推理成本的方法。通过 MPS 并发执行，GPU 利用率从 15-20% 提升，使 GPU 实例需求从 16 个减少到 4 个，成本降低 75%，同时保持亚秒级延迟。该方案结合 ONNX R
8月27日周四 · 9 条
正文结构化主题已通过公开置信门槛
OpenAI研究员警告超快AI推理或令安全团队措手不及
OpenAI 研究员“roon”警告，超快 AI 推理速度可能带来现有安全措施无法应对的风险。他指出，一个未对齐的模型若以当前最佳系统 50 倍的速度运行，可能迅速渗透系统，人类响应团队将无法及时应对，因此需要自主检测和关闭机制，而非仅靠监控。该评论是对 OpenAI 发布新 AI 芯片的回应，该芯片推理速度超越现有硬件，且 OpenAI 和 Anthrop
正文结构化主题已通过公开置信门槛
Langfuse v4.22.0 发布：增强评估跟踪与代理功能
Langfuse 发布了 v4.22.0 版本，主要新增了评估器创建配置跟踪、支持从专用资产主机提供构建输出、实现 CHB API 客户端、改进状态消息渲染，并增强了应用内代理功能，包括支持 OpenAI 兼容 API 和默认启用 Assistant worker。此外，还修复了多个问题，如评论提及显示名称中的方括号、短 JSON 列表默认折叠、MCP 工具
正文结构化主题已通过公开置信门槛
OpenAI 发布自研推理芯片 Jalapeño，性能超越 Blackwell
在 Hot Chips 37 大会上，OpenAI 发布了自研推理芯片 Jalapeño，宣称其能效和延迟优于 NVIDIA GB200/GB300，实测每瓦性能提升 1.5-1.9 倍，端到端延迟降低 1.7-3.6 倍，并计划年底部署。此外，多个研究强调 agent 的 harness 质量和记忆系统设计对性能影响重大，而 Perplexity 推出了本
正文结构化主题已通过公开置信门槛
Cerebras 以最高 750 token/秒服务 GPT-5.6 Sol
Cerebras 宣布为 OpenAI 的 GPT-5.6 Sol 提供 Ultrafast 模式，输出速度最高达每秒 750 个 token。该服务运行在 Cerebras WSE-3 晶圆级芯片上，模型架构、权重、精度、上下文配置和推理设置与标准 OpenAI 端点完全一致，未做蒸馏或量化。Cerebras 称在 GDP-Val 任务上完成速度比标准端点
正文结构化主题已通过公开置信门槛
Qwen3.8-Flash-Next：多模态 MoE 模型，Qwen4 架构预览
Qwen 发布了新的开源权重模型 Qwen3.8-Flash-Next，这是一个多模态 MoE 模型，也是 Qwen4 架构的早期预览。模型总参数为 125B，但仅有 6B 激活，性能显著提升。作者 Simon Willison 在 DGX Spark 上使用 Unsloth 量化版本进行了测试，并分享了初步体验。
正文结构化主题已通过公开置信门槛
NVIDIA 发布 NVLink Fusion 与 NVHBM，提升定制 AI 基础设施性能
NVIDIA 发布了 NVLink Fusion 和 NVHBM 技术，旨在帮助超大规模企业和 AI 原生公司将其定制 XPU 和 CPU 集成到 NVIDIA AI 基础设施中。NVHBM 是定制 HBM 基底芯片技术，相比标准 HBM4e 可提供高达 30% 的带宽提升、25% 的计算芯片面积增加和 15% 的功耗降低。该技术通过减少内存接口面积和优化功
正文结构化主题已通过公开置信门槛
Amazon Bedrock AgentCore Evaluations 实现跨框架代理评估
AWS 发布了 Amazon Bedrock AgentCore Evaluations，该服务通过 OpenTelemetry 标准解耦了代理评估与具体框架，支持 LangGraph、LlamaIndex、OpenAI Agents SDK 等多种框架。它自动读取调用代理、推理和工具执行三类 span，并利用 LLM-as-a-judge 进行统一评分，无
正文结构化主题已通过公开置信门槛
Ollama v0.33.1 发布：支持 Qwen3.8 Flash Next 与结构化输出
Ollama 发布了 v0.33.1 版本，主要更新包括对 MLX 后端 Qwen3.8 Flash Next 的支持，以及 llama.cpp 的更新。此外，mlxrunner 新增了结构化输出支持，并优化了从慢速存储加载模型时的 Metal GPU 超时问题。该版本还修复了 cmake 外部兼容补丁的幂等性问题。
正文结构化主题已通过公开置信门槛
Qwen3.8-Flash-Next在NVIDIA GB300 NVL72上支持代理编码
阿里巴巴发布了Qwen3.8-Flash-Next模型权重，作为Qwen4架构的预览，供开发者实验和评估。该模型是一个多模态MoE模型，主模型125B参数，附加51B N-gram嵌入，每token激活6B参数，原生上下文窗口262,144 token，可通过YaRN扩展到1M。NVIDIA提供了Day 0功能支持，包括SGLang、vLLM和TensorR
8月26日周三 · 2 条
正文结构化主题已通过公开置信门槛
Mastra 发布新存储后端、沙箱增强及多项破坏性变更
Mastra 发布 2026 年 8 月 26 日更新，新增 Elasticsearch 和 Valkey 存储后端，以及 E2B Desktop 计算机使用沙箱提供商。沙箱现在支持运行时环境控制和更安全的关闭行为，同时改进了可观测性、评分和流式会话体验。此版本包含多项破坏性变更，如 LSP 默认关闭和部分 API 调整。
正文结构化主题已通过公开置信门槛
Langfuse v3.225.5 发布：修复 Unicode 转义、OTLP 限制及权限问题
Langfuse 发布了 v3.225.5 版本，主要包含四个修复：处理 ClickHouse JSON 中的畸形 Unicode 转义、强制 OTLP 摄取请求体大小限制、要求自动化调度 URL 变更时使用新鲜令牌，以及要求审计日志批量导出下载需要审计日志访问权限。这些修复均为 v3 分支对主分支问题的回移。