Amazon Bedrock 在印度推出 Claude 模型本地推理
AWS 宣布在 Amazon Bedrock 上为印度区域提供 Anthropic 的 Claude Opus 5、Claude Sonnet 5 和 Claude Haiku 4.5 模型，通过地理跨区域推理让印度客户在本地处理数据。请求仅在 ap-south-1 和 ap-south-2 之间路由，数据不存储在目标区域，采用零数据保留模型。客户可通过控制
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
9月30日周三 · 13 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Amazon Bedrock 在首尔和新加坡推出 Anthropic 模型区域内推理
AWS 宣布 Amazon Bedrock 在首尔和新加坡区域支持 Anthropic Claude 模型的区域内推理。首尔区域支持 Claude Opus 5 和 Claude Sonnet 5，新加坡区域支持 Claude Sonnet 5，请求和数据全程留在所调用的单一区域内。该能力面向金融、医疗和公共部门等有严格数据驻留要求的客户，可通过 bedro
正文结构化主题已通过公开置信门槛
llama.cpp b11268 发布：修复 Adreno OpenCL q5 K 内核
llama.cpp 发布 b11268 版本，主要修复了 OpenCL 后端中 q5 K 量化格式在 Adreno GPU 上 gemm nonshuffle 内核的 get tensor 问题。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、R
正文结构化主题已通过公开置信门槛
llama.cpp b11267：调优 Vulkan GDN kernel 并修复 Intel 性能
llama.cpp 发布 b11267 版本，主要更新为 Vulkan 后端调优 GDN kernel 并修复 Intel 平台性能问题。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包，覆盖 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等多种后端。
正文结构化主题已通过公开置信门槛
AlphaSense 借助 Cerebras 快速推理打造交互式智能体研究
AlphaSense 与 Cerebras 合作，将 Cerebras 的低延迟推理能力用于其 Generative Search 平台中路由、查询生成和证据评估等高频模型调用环节。通过降低单次推理延迟，AlphaSense 得以将研究流程拆解为规划、检索、证据评估等多个专门化模型调用，而不必把任务压缩进单一提示或依赖静态规则。文章指出，快速推理不只是提速，
正文结构化主题已通过公开置信门槛
llama.cpp b11265：Vulkan MoE 感知 tile 选择优化
llama.cpp 发布 b11265 版本，主要修复 Vulkan 后端中 MoE 感知的 mat mul id tile 选择问题。此前 tile 选择依据总 token 数，而 MoE 分发网格中每个 workgroup 的真实 N 是每专家行数，导致在 Sarvam 30B 上 pp128 场景下实际仅约 6 行活跃却选了 l-tile，多数 wor
正文结构化主题已通过公开置信门槛
llama.cpp b11263：修复 PLaMo-2/3 词表 误判为 EOG
llama.cpp 发布 b11263 版本，主要修复了 PLaMo-2 和 PLaMo-3 词表处理问题：这两个词表将 标记为 NORMAL，但现有 EOG token 启发式规则按文本匹配并把它归为 CONTROL，导致 被误判为 EOG。该版本对 PLAMO2 词表类型跳过此启发式，使 保持 NORMAL，并改用 进行检测。同时照例提供 macOS、L
正文结构化主题已通过公开置信门槛
Ollama 发布 v0.35.1：支持单次响应十次网络搜索
Ollama 发布 v0.35.1 版本，主要变更包括允许每次响应进行最多十次网络搜索、升级 MLX 与 llama.cpp 版本，以及 create 命令支持显式声明模型能力。这些更新提升了本地模型运行与创建时的功能灵活性和工具集成能力。
正文结构化主题已通过公开置信门槛
NVIDIA 分享 TensorRT Model Connect 的 AI 原生开发经验
NVIDIA 发布技术博客，介绍其开源项目 TensorRT Model Connect 的构建经验。该项目用 C++ 实现 AI 模型参考实现，基于 TensorRT，旨在让非 TensorRT 专家也能使用 NVIDIA 推理栈的性能。团队以编码智能体为核心进行开发，总结出并行工作、模型家族隔离、可逆变更和 GPU 验证等工程原则，截至 2026 年 7
正文结构化主题已通过公开置信门槛
Google 推出 Diffusion Controller 统一简化图像生成控制
Google Research 提出 Diffusion Controller，一种轻量级“转向阻尼器”网络，可在不修改基础模型权重的情况下精确引导图像生成，提升提示词对齐度。该方法将去噪过程重构为连续控制问题，并支持对闭源、受限访问模型进行黑盒/灰盒控制。在 Stable Diffusion v1.4 上，其灰盒版本在 HPS-v2 胜率上超过 LoRA，
正文结构化主题已通过公开置信门槛
NVIDIA VSS Blueprint 3.3 降低视觉 AI 智能体成本
NVIDIA 发布 VSS Blueprint 3.3，通过新增 Build Vision Agent 技能和自适应高效视频采样（Adaptive EVS）降低视觉 AI 智能体的构建与运行成本。Build Vision Agent 可将告警、搜索、摘要等 VSS 工作流组合为单一应用，并基于四种已验证配置快速生成部署方案；Adaptive EVS 通过剪除
正文结构化主题已通过公开置信门槛
OpenAI DevDay 扩展 Codex 与 API：安全扫描、Decisions API 和 Ultrafast
OpenAI 在旧金山 DevDay 2026 开发者大会上宣布扩展 Codex 和 API：Codex 新增可复用云开发环境、语音控制 CLI、桌面端代码审查视图，以及扫描仓库漏洞并自动准备修复的 Codex Security Cloud。Agents API 新增 Computer Use 能力，并推出基于 GPT-6 Luna 的 Decisions
正文结构化主题已通过公开置信门槛
让Token像土豆一样便宜，要闯哪四关？
远景科技集团创始人张雷在央视《对话》中提出“AI土豆论”，主张让Token像土豆一样普惠，核心思路是从能源基础设施端重构算力成本。远景乌兰察布星河基地今年8月投产，总规划容量超2GW，通过自建风光、储能、固态变压器与AI电力系统实现绿电直连与算电协同。文章梳理了从便宜绿电到普惠Token需闯过的四关：破除绿电即算力竞争力的误区、建立气象预测与调度、提升供电到
9月29日周二 · 7 条
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11257：配置目录改用 fs::path
llama.cpp 发布 b11257 版本，主要变更是 common 模块改用 fs::path 处理配置目录（PR #29649），由 Adrien Gallouët 提交。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等
正文结构化主题已通过公开置信门槛
康泰纳仕用Amazon Bedrock打造多模态视频发现方案
康泰纳仕（Condé Nast）与AWS生成式AI创新中心合作，基于Amazon Bedrock和Amazon OpenSearch Service构建了多模态视频发现方案，采用TwelveLabs Marengo嵌入模型对视频转录、视觉和音频信号进行联合编码。该方案将编辑团队的内容发现时间从平均250分钟缩短至2分钟以内，覆盖Vogue、GQ、Vanity
正文结构化主题已通过公开置信门槛
ElevenLabs 发布 v4 语音模型，并推出实时 Turbo 版本
ElevenLabs 发布新一代语音模型 Eleven v4，能更准确地遵循语气、节奏等指令，并在长篇制作中保持音色一致，支持超过 90 种语言，单次请求最多处理 1 万字符。同时推出面向实时语音智能体的 Turbo 版本，约 150 毫秒开始发声，公司称快于 Cartesia Sonic 3.6 和 OpenAI GPT-4o mini TTS。两款模型已
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11256：调整服务端正则以匹配 M2 Ultra 结果
llama.cpp 发布 b11256 版本，主要变更是调整服务端字符串正则表达式，使其也能匹配 M2 Ultra 的测试结果。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11255：新增 fs write atomic()
llama.cpp 发布 b11255 版本，主要变更是为 common 模块新增 fs write atomic() 函数，用于在关闭已下载文件时检查缓冲写入错误、在 Windows 上使用 UTF-8 路径写入 ETag 文件并以二进制模式写入。该提交由 Hugging Face 的 Adrien Gallouët 完成，同时该版本照例提供覆盖 macO
正文结构化主题已通过公开置信门槛
llama.cpp b11254 修复 ggml 图输入收集逻辑
llama.cpp 发布 b11254 版本，修复了 ggml 中 graph inputs 的收集逻辑。此前 graph inputs 在图分割过程中填充，只包含被用作节点输入的张量，在流水线并行（n copies 1）下会导致图组成随批次输入变化而改变，进而引发后端 id 比较误报和调度器重复预留，甚至触发 GGML SCHED DEBUG REALLO
正文结构化主题已通过公开置信门槛
让 AI 成为资产而非开支
HPE 赞助内容指出，随着 AI 从实验走向生产，企业面临的不再只是选择哪个模型或哪家供应商的 token 价格，而是如何以可预测、可持续的方式运行 AI。文章认为，当需求变得稳定且关键业务化时，企业需要评估自建容量的经济性，并建立配套运营模式来保持容量高效利用，从而让 AI 从费用变为资产。文中引用 Deloitte 2026 年企业 AI 状况报告称，2