芯片与算力

MLX v0.32.3 发布：修复与性能优化

MLX 发布 v0.32.3 版本，包含大量 bug 修复与性能优化。主要涉及 Metal 和 CUDA 后端的注意力核函数改进（如 GQA、NAX 注意力、D512 向量注意力）、量化矩阵乘法（qmm）修复、流与并发处理、内存与 I/O 优化，以及 Python API 行为调整（如 unstack 返回 tuple、axis 参数可选）。这些改动提升了框

llama.cpp 发布 b11237：ggml-openvino 标记未对齐 batch-stride 视图为不支持

llama.cpp 发布 b11237 版本，主要变更是 ggml-openvino 后端将未对齐的 batch-stride 视图标记为不支持（PR #29603）。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenV

llama.cpp b11234 发布：修复 WebGPU 未对齐写入

llama.cpp 发布 b11234 版本，主要修复了 WebGPU 后端 ggml backend webgpu buffer set tensor 中未对齐写入的问题，并进行了 Clang 格式化。该版本同时提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台、多后端（CPU、CUDA、Vulka

llama.cpp b11233：重构回滚测试并修复 Metal 图融合

llama.cpp 发布 b11233 版本，主要重构了 test-recurrent-state-rollback 测试，改用 llama context ptr 并支持遍历所有 dummy 模型；同时修复 Metal 后端融合逻辑，允许 0 元素节点参与图打包以保持形状无关性，并放宽 split replay 的 nmse 阈值至 1e-4 以减少随机权

英伟达推出内置芯片看门狗，为AI智能体套上安全绳

英伟达发布 Open Agent Safety Platform，将开源软件 OpenShell 与名为 Sentry 的硬件看门狗结合，用于在沙箱中限制 AI 智能体的文件、程序、网络和凭证访问权限，并在智能体试图越狱时于毫秒级隔离。此举正值 OpenAI、Anthropic、Meta、Google 等实验室接连曝出智能体逃逸测试环境的事件，其中 Open

另有 1 家信源报道

llama.cpp b11228：Metal 后端支持左填充与循环填充

llama.cpp 发布 b11228 版本，主要更新是 Metal 后端在 GGML OP PAD 算子中支持左侧填充和循环填充，使其与 CPU、CUDA、Vulkan 后端行为对齐，并修复了置换源张量的右侧填充问题。改动还移除了较慢的 f32 4 内核，并按评审意见改用函数常量 FC PAD 来特化循环填充内核。该版本同时提供 macOS、Linux、W

llama.cpp b11224：修复 Vulkan 矩阵运算读取缓存切片错误

llama.cpp 发布 b11224 版本，主要修复 Vulkan 后端在 mul mat、mul mat id 等矩阵运算中读取较大缓存切片（如 KV cache 的跨步视图）时结果错误的问题。修复通过从 nb[2] 推导原地读取张量的批步长、按跨步范围绑定 A/B 缓冲区，并新增 test-backend-ops 的 m v 参数测试用例覆盖这些场景。

从算得快到干得了活：AI推理时代CPU重塑算力版图

英特尔在9月22日Connection大会上提出，AI从训练走向智能体推理后，CPU正从配角变为系统控制中枢。其至强6+处理器（Intel 18A制程、最高288能效核）单颗可部署近千个智能体，SWE-bench单智能体性能领先竞品15%，并联合焱融科技在MLPerf Storage v3.0拿下两项全球第一。物理AI方面，第三代酷睿Ultra以大小脑融合的

海光发布1000系列CPU，首款集成GPU面向工业端侧

海光信息发布1000系列CPU，首次推出专门面向工业控制等端侧场景设计的处理器，也是海光首款集成GPU的CPU。该芯片封装尺寸25×25mm，较此前最小处理器缩小42.6%，支持PCIe 4.0、DDR4/DDR5内存、-40至105摄氏度宽温运行，并集成支持国密算法的硬件安全模块。海光为此组建创新产品线并开发嵌入式软件生态，已启动133个合作项目、支持11

Component Benchmark：大规模推荐系统的分层模型性能分析

论文提出 Component Benchmark (CB)，一个面向大规模推荐系统的分层性能分析系统。CB 基于 PyTorch module hooks 捕获子模块输入，独立地对每个组件进行基准测试，并重建树状性能视图，帮助定位复杂模型架构中的性能热点。系统采用插件架构（Component Provider、Preprocessor、Profiler、Re

Imagination E系列GPU首秀：AI超分2.3毫秒，Prefill提升4.7倍

Imagination Technologies 发布 GPU IP 最新 E 系列，将 AI 战略重心从专用 NPU 收回至通用 GPU，强化矩阵乘法、低精度计算与卷积能力。E 系列首次引入 MXFP8、MXFP4 等低精度格式，Prefill 性能较上一代提升 4.7 倍，卷积性能提升 4.4 倍，单核将画面从 540p 超分至 1080p 仅需 2.3

NVIDIA DSX MaxLPS 提升 AI 工厂吞吐与能效

NVIDIA 发布技术博客，介绍 DSX MaxLPS 动态功耗共享方案，通过策略化分配在固定电力预算内提升 AI 工厂吞吐。NVIDIA 与 Nscale 在冰岛 Keflavík 数据中心使用 GB300 NVL72 系统、Kimi K2.5 FP4 等进行了联合评估，结果显示在相同 264.4 kW 电力预算下，GPU 数量从 140 增至 192（+

llama.cpp 发布 b11217：优化 OpenCL bin kernel 加载条件

llama.cpp 发布 b11217 版本，主要变更是优化了 OpenCL 后端 bin kernel 的加载条件（PR #29503）。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

llama.cpp b11216：SYCL 新增宽块 FWHT 内核

llama.cpp 发布 b11216 版本，为 SYCL 后端新增了针对块宽度大于 512 的 FWHT（快速沃尔什-哈达玛变换）内核。新内核 fwht kernel wide 采用每个工作组处理一行、蝶形运算分层走 shuffle/本地内存/寄存器的策略，将原本退化为 O(n^2) 稠密 GEMM 的 1024/2048/4096/8192 宽度改为 O

llama.cpp b11215：调优 CUDA fp16 FlashAttention 配置

llama.cpp 发布 b11215 版本，主要变更为针对 head size 40-112 的 CUDA fp16 tile FlashAttention 配置进行调优（PR #26289）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、R

llama.cpp b11213 发布：修复 Adreno 的 Vulkan argsort 内核选择

llama.cpp 发布 b11213 版本，主要修复了 Vulkan 后端在 Adreno GPU 上 argsort 内核选择的问题（PR #29469）。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制，覆盖 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端。此次更新属于针对高通 Adre

GKE Pod 快照将模型加载时间缩短 89%，但快照生命周期管理成为新难题

Google 公布了 GKE Pod 快照的基准测试结果，称启动延迟最高可降低 89%，70B 参数模型加载仅需 37 秒、8B 模型 15 秒。该功能基于 gVisor 实现检查点与恢复，可保存 CPU/GPU 内存及运行状态，已于 5 月正式可用。但从业者指出，快照失效管理（模型摘要、CUDA/驱动版本、GPU 拓扑等兼容性键）以及恢复后的密钥、环境变量

谷歌TPU跑Kimi比英伟达GPU快57%，用的还是DeepSeek推理框架

vLLM原班人马创立的推理创业公司Inferact，用自研megakernel推理内核配合DeepSeek提出的DSpark推测解码框架，在16块谷歌TPU v7上跑Kimi K3达到每秒709个token，比16块英伟达GB200的452个token快57%，且精度与GPU一致。megakernel将原本数百个独立kernel合并为单个Pallas程序，消

llama.cpp b11189：OpenCL 新增 Q5 K A8 二进制 GEMM 内核

llama.cpp 发布 b11189 版本，主要变更是为 OpenCL 后端新增两个二进制 GEMM 内核（kernel gemm noshuffle q5 k f32 32b trans ila a8 bin 和 kernel gemm noshuffle q5 k q8 1 dp4a ila a8 bin），分别覆盖非 dp4a 与 dp4a 的 A8

llama.cpp b11188 修复旧版 GLSLC 的 Vulkan 构建问题

llama.cpp 发布 b11188 版本，主要修复了旧版 GLSLC 编译器因不支持 cooperativeMatrix API 而导致的 Vulkan 构建问题。改动通过新增 GGML VULKAN COOPMAT GLSLC SUPPORT 宏检查、在创建前过滤不支持的 FA 两阶段内核，并将 Intel FA 着色器指针创建的锁保护移入 CM1 编