芯片与算力

llama.cpp b12248：Vulkan GROUP NORM 工作组改为二维以规避限制

llama.cpp 发布 b12248 版本，主要修复 Vulkan 后端 GROUP NORM 计算的工作组划分问题：将工作组划分为二维，以规避 maxComputeWorkGroupCount 限制，并改用已有宏实现。该版本同时提供 macOS、Linux、Windows、Android 等多平台、多后端（CUDA、Vulkan、ROCm、SYCL、Op

Google 推出两款专用 AI 芯片，扩展硬件组合

Google 发布第八代 TPU 的两款新变体 TPU 8tx 和 TPU 8i Max，分别面向机密推理和更大内存容量的大规模工作负载。TPU 8tx 与 AMD 合作设计，将安全能力内置于硬件层，并支持在训练同时进行推理以在线蒸馏小模型；TPU 8i Max 则将两颗推理芯片整合进单一封装，使内存、算力和带宽翻倍。此举旨在降低 Google 云业务对外部

llama.cpp b12247：修复 MoltenVK 越界读写

llama.cpp 发布 b12247 版本，主要修复 Vulkan 后端在 MoltenVK 上的越界读写问题，通过为 norm f32、l2 norm f32 和 sum rows f32 的管线设置 disable robustness，解决 test-backend-ops 的 sentinel 不匹配错误。该版本同时提供 macOS、Linux、W

NVIDIA 开源 Snapshot：GPU 工作负载秒级启动与恢复

NVIDIA 发布开源组件 NVIDIA Snapshot，作为 DSX AI Factory 平台的一部分，为 Kubernetes 上的 GPU 工作负载提供检查点与恢复能力。它可将已初始化的推理工作负载（含 CPU 与 GPU 内存状态）保存为可移植产物，并在同型号 GPU 节点上秒级恢复，跳过权重加载、编译与图捕获等冷启动步骤。在 vLLM、SGLa

NVIDIA 将 Agent Substrate 捐赠给 CNCF，为大规模 Agent 扩展 Kubernetes

NVIDIA 将开源项目 Agent Substrate 捐赠给 CNCF Sandbox，该项目为沙箱化 AI Agent 提供零信任运行时，通过在多路复用的小型 worker Pod 池上对空闲会话做检查点与恢复，实现比标准容器高 10 倍的密度。文章指出 Kubernetes 原生模型不适合 Agent 频繁启停、长时间空闲的工作负载，并介绍了请求排队

llama.cpp 修复 Qualcomm Adreno 上 flash attention 性能问题

llama.cpp 发布 b12246 版本，针对 Qualcomm Adreno GPU 的 Vulkan 后端修复了标量 flash attention 在大 head 尺寸下的性能问题：当 head size 超过 128 且 KV 长度不小于 1024 时，将每个 workgroup 的行数从 16 降为 8，避免寄存器溢出到 scratch 内存。

llama.cpp b12243：SYCL 为 Alchemist 解除 oneDNN 融合 SDPA 限制

llama.cpp 发布构建版本 b12243，主要变更是为 SYCL 后端在 head dim=64 时解除对 Intel Alchemist 显卡上 oneDNN 融合 SDPA 的限制。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CUDA、ROCm、Vulka

opencoti-llamafile：集成多项 KV 与投机解码优化的单文件推理引擎

ManniX-ITA 在 Hugging Face 发布 opencoti-llamafile，这是基于 Mozilla-Ocho llamafile 的单文件推理引擎，并集成了 opencoti 补丁系列。它新增了 PolyKV/KVarN 的 KV 驻留与量化、KV 滚动窗口、弹性多会话服务、DCA 长上下文扩展、MTP 投机解码、稀疏注意力、RYS 层

黄仁勋婚外情对象被指中国间谍，涉对华芯片出口政策

《The Verge》报道称，英伟达CEO黄仁勋与新加坡云服务商Megaspeed高管Alice Huang（据称是中国情报资产）存在婚外情，引发美国官员对其是否影响对华芯片出口政策的担忧。黄仁勋此前一直游说特朗普政府放宽对华先进芯片出口限制，2025年7月与特朗普会面后，英伟达H20芯片获准对华销售，12月进一步允许向“获批客户”出售并由美国政府抽取25%

另有 1 家信源报道

谷歌发布TPU 8i Max与8tx，HBM带宽翻倍

谷歌发布第八代TPU的两款新品TPU 8i Max和TPU 8tx，前者主打超大上下文窗口与单机柜最高算力密度，算力、SRAM和HBM带宽均为TPU 8i的两倍；后者面向安全与机密推理，延迟最高降低一半。这是谷歌首次一年内推出4款TPU，覆盖智能体全生命周期。谷歌同时升级开源软件栈，向PyTorch开发者开放TPU，并开源TPU智能体工具套件、XLA Ser

llama.cpp b12221：修复 Metal Flash Attention 输出缓冲区越界写入

llama.cpp 发布 b12221 版本，主要修复 Metal 后端中 Metal FA（Flash Attention）输出缓冲区越界写入的问题（PR #31662），由 Zhuomin Chen 共同提交。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL

llama.cpp 发布 b12219：opencl 后端补充 climits 头文件

llama.cpp 发布构建版本 b12219，主要变更是 opencl 后端补充包含 climits 头文件（PR #31935）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、OpenCL Adreno 及 Snapdragon NPU

AWS 推出 TorchNeuron：无需改代码即可在 Trainium 上运行 PyTorch 模型

在 PyTorch Conference North America 2026 上，亚马逊发布原生 PyTorch 后端 TorchNeuron，开发者几乎无需修改代码即可在 AWS Trainium 芯片上运行现有 PyTorch 模型，通常只需将 .to('cuda') 改为 .to('neuron')。该后端原生支持 DDP、FSDP2、DTensor

播客：基于 llm-d、Wasm 与 TornadoVM 的 Kubernetes 分布式 LLM 推理

InfoQ 播客中，Red Hat 的 Edoardo Vacchi 介绍了 WebAssembly 在后端的发展、用 TornadoVM 在 GPU 上运行 Java 工作负载，以及基于 llm-d 和 vLLM 在 Kubernetes 上优化分布式 LLM 推理。llm-d 通过管理 KV 缓存与前缀缓存、请求路由和批推理来提升跨集群的 GPU 利用率

猿声科技获五源、拓普等9名股东入股，车规触觉产线已量产

猿声先达科技（深圳）有限公司完成股东扩容，新增9名股东，包括五源资本、线性资本、拓普集团、速腾聚创、上富电技等市场化投资方与产业巨头，注册资本增幅约18.8%。该公司围绕触觉零部件、数据采集终端与触觉数据模型进行全栈布局，并与上富电技合建车规级多维触觉传感器量产线，已进入批量出货阶段。此举反映具身触觉赛道从概念转向量产交付能力的竞争分化。

英伟达调查CEO黄仁勋与疑似中国间谍的关系

英伟达董事会宣布对CEO黄仁勋与可能为中国间谍的Alice Huang之间的关系展开独立调查。此前有报道称Alice Huang被中国国家安全部招募以接近黄仁勋，黄仁勋公开承认与其有婚外情并道歉。董事会表示没有理由认为国家安全或公司机密受损，并对黄仁勋表示信任。此事发生在中美AI芯片竞争加剧的背景下。

另有 1 家信源报道

llama.cpp b12202：按参考精度引入 BF16 累加

llama.cpp 发布 b12202 版本，核心改动是让 llama 与 mtmd 遵循 ggml prec set acc 调用的参考精度：GLM4 系列的下投影与输出投影、MiMoVL 视觉矩阵乘、Qwen3-TTS 说话人编码器 conv1d 改为 GGML PREC BF16，而 DeepSeek V4/V4.1 路由器和 MiniMax-M3 索

llama.cpp b12200：优化 OpenCL q8 0 与 MoE 小 n 验证

llama.cpp 发布 b12200 版本，主要改进 OpenCL 后端：新增 q8 0 的 kernel gemv noshuffle q8 0 f32 mc 内核，为 q5 1、q4 k 等更多量化格式补充小 n 的 MoE GEMV 实现，并将 Adreno 内核的 k 下限设为 256，同时在小验证批次下禁用 bin FA。这些改动由高通（Qual

llama.cpp b12195：SYCL 拒绝超显存缓冲区分配

llama.cpp 发布 b12195 版本，主要变更是 SYCL 后端拒绝会超出显存的设备缓冲区分配（#31285）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、OpenVINO、SYCL 及骁龙 NPU 等后端。此次更新属于常规构建发布，提升了 SYCL 场景下

llama.cpp b12187：WebGPU 新增 group norm 算子

llama.cpp 发布 b12187 版本，主要变更为在 WebGPU 后端实现 group norm（分组归一化）算子，包括新增 WebGPU 专用 CI 工作流、参数化数据类型、二维工作组调度以及 group norm 性能测试。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 的多平台预编译包，涵盖 CUDA、Vul