芯片与算力

llama.cpp b11372：优化 lightning indexer 内存与多后端支持

llama.cpp 发布 b11372 版本，主要针对 qwen4exp 的 lightning indexer 进行内存与性能优化：将索引器分数内存减半，改为逐头计算并原地累加，避免同时存在两个大型 f32 张量。同时为 CUDA 增加 4 头支持、Metal 将头数作为函数常量、Vulkan 按 keys 和 tokens 分块并向量化加载、使用 fp1

Meta 推出开源项目 Muse Gadgets，让开发者自建 Muse 硬件

Meta 推出开源项目 Muse Gadgets，允许开发者基于开源固件和 Linux SDK 构建可连接其个人 AI 代理 Muse 的自定义硬件，例如彩色电子墨水屏或插入电视 HDMI 接口的棒状设备。Meta 产品负责人 Nat Friedman 表示公司已自制 Muse Home Link 设备并免费发放 5000 台给 Muse 订阅用户。此举配合

另有 1 家信源报道

llama.cpp b11362：Metal 新增 F16 KV 张量 flash attention 内核

llama.cpp 发布 b11362 版本，主要更新是在 Metal 后端为 F16 KV 缓存新增了基于 tensor API 的 flash attention 内核。该内核还扩展支持 DK=DV=512、DK=576/DV=512、DK=192/DV=128 等维度，并加入 attention sinks、ALiBi 和 logit softcap

llama.cpp 发布 b11349：Vulkan 编译问题新增日志

llama.cpp 发布 b11349 版本，主要变更为在 Vulkan 后端为 pipeline 编译问题添加日志输出（#29794）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于常规构建发布，主要提升

llama.cpp b11344 发布：修复 Volta FA 用例

llama.cpp 发布 b11344 版本，主要修复了 CUDA 后端中两个损坏的 Volta 架构 Flash Attention 用例（PR #29803）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVIN

llama.cpp b11335：CUDA 将 sm 70 路由至 Turing MMVQ 表

llama.cpp 发布 b11335 版本，其中 CUDA 后端将 Volta（sm 70）架构的 MMVQ 参数路由到 Turing 的 nwarps 表，使 K-quant 单批次解码在 nwarps=2 下运行。在 Tesla V100 32GB 上以 Qwen3.8-27B Q4 K M 测试，tg128 吞吐提升约 3.17%（+1.091 t/

llama.cpp b11333：WebGPU 新增 bfloat16 支持

llama.cpp 发布 b11333 版本，主要变更为在 WebGPU 后端为 MUL MAT、MUL MAT ID 和 GET ROWS 算子增加 bfloat16 支持。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端的预编译二进制包。

llama.cpp b11331：CUDA 路径支持 NVFP4 计算类型

llama.cpp 发布 b11331 版本，主要更新是在 CUDA 的 cuBLAS 路径上为 NVFP4 量化格式处理计算类型，并在硬件允许时对量化模型使用 BF16 计算类型，同时为 NVFP4 设置至少 BF16 范围的累加精度。该改动由 NVIDIA 工程师提交，并保留了 per-expert matmul 的 op params。版本同时提供 m

DGX Spark手册：本地AI推理的实用指南

文章介绍了NVIDIA DGX Spark桌面AI设备，尽管其内存带宽较低（273 GB/s），但通过MoE架构和推测解码等技术，能够高效运行智能模型，并支持多台堆叠以提升内存和带宽。作者认为该设备适合个人或小家庭使用，功耗低、安静，但价格已从3999美元上涨至4699美元甚至更高。

NVIDIA GPU 加速 OpenAI GPT-6 Astra Ultrafast

OpenAI 在 NVIDIA Blackwell GPU 上推出 GPT-6 Astra Ultrafast，现已通过 OpenAI API 以及面向符合条件的 ChatGPT Work 和 Codex 用户开放。该模式借助针对 Blackwell 架构的推理优化，token 生成速度最高可达 Astra Standard 模式的 8 倍，可缩短编码智能体

谷歌发射首颗TPU卫星，称星舰需发射1600次才能支撑太空数据中心

谷歌通过SpaceX火箭将首颗搭载TPU的轨道计算卫星送入太空，用于验证其AI芯片在太空环境中的运行能力，这是Project Suncatcher计划的第一步。谷歌同时发布了关于轨道数据中心的同行评审白皮书，认为SpaceX需在10年内完成约1800次星舰发射、将发射成本降至每公斤200美元左右，轨道数据中心才具备经济可行性。测试显示TPU可承受太空辐射，适

llama.cpp 发布 b11323：修复 HIP 后端 CDNA 误判问题

llama.cpp 发布 b11323 版本，主要修复了 HIP 后端在 fattn mma dqk 576 场景下将 CDNA 误判为 dgx spark 以处理 gqa ratio 20 的问题。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、ROCm、V

llama.cpp 发布 b11322：修复 hex-workqueue 竞态条件

llama.cpp 发布 b11322 版本，主要修复了 hex-workqueue 中 seqn 与 idx read/write 不同步的竞态条件问题（PR #29785）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、

llama.cpp 发布 b11312：修复 WebGPU SSM SCAN 绑定别名

llama.cpp 发布 b11312 版本，主要修复了 WebGPU 后端中 SSM SCAN 的绑定别名问题（#29750）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

llama.cpp b11307：修复推测解码层输入批次顺序

llama.cpp 发布 b11307 版本，核心改动是修复推测解码（speculative decoding）中层输入（layer inputs）的批次顺序问题，保留原始批次顺序，并恢复未掩码 NextN 嵌入的 token 顺序。改动同时兼容 tensor split，并覆盖多种 KV 布局与 CUDA 设备的回归测试。该版本提供 macOS、Linux

llama.cpp 发布 b11303：示例迁移至 llama batch ext

llama.cpp 发布 b11303 版本，主要变更是将剩余示例迁移到 llama batch ext，并新增线程安全测试、移除 common batch staged。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

用 NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐模型

NVIDIA 发布技术博客，介绍如何通过 NVIDIA Dynamo-Triton（原 Triton Inference Server）部署 HSTU 生成式推荐模型。该工作流结合 PyTorch AOTI 编译、FlexKV 支持的 KV 缓存、NV embedding cache 和原生 C++ 验证，在 RTX PRO 6000 Blackwell 上

NVIDIA 扩展 xio-sig 并发布 cuObject 与 SCADA 服务器 SDK

NVIDIA 宣布扩展 xio-sig 项目，在 cuFile 之外新增 cuObject，并与 Google Cloud、Microsoft 合作，同时正式发布 cuObject 客户端与服务器库。NVIDIA 还推出 SCADA Server SDK，让存储厂商构建可响应 GPU 发起请求的 SCADA 服务器，IBM 已用集成 IBM Storage

llama.cpp 发布 b11295：修复 Models Backend 检查

llama.cpp 发布 b11295 版本，主要修复了 Models Backend 检查中的 CI 问题：通过缩短 hrm text fixture，将原本在 8 个缓存槽上循环两个块导致的 fp16 误差累积降到 1e-4 NMSE 阈值以下，从而解决 Vulkan T4 和 WebGPU 任务失败。该版本同时提供覆盖 macOS、Linux、Wind

AI 电子宠物来了：Meta 与 OpenAI 押注实体 AI 硬件

Meta 和 OpenAI 计划在未来一年推出搭载可爱 AI 智能体的实体硬件设备，押注“有用且可爱”的卖点。OpenAI 与 Jony Ive 合作，计划最早 2027 年 2 月出货，并在 DevDay 发布 Dots 智能体平台；Meta 则推出挂件式设备 Muse Charm，绑定其 Muse 智能体，目标在今年假日购物季前上市。两家公司采取先软后硬