部署工程

llama.cpp b10718 发布：CUDA MoE 融合扩展至多 token

llama.cpp 发布 b10718 版本，主要更新是将 CUDA 上的 MoE 融合扩展到 specdec 场景，此前 MOE glu 融合和 topk-router 融合仅限于单 token，现在支持多 token，并新增 SWIGLU CLAMP 案例。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的二进制文件

Langfuse v4.25.0 发布：增强评估与 CSV 解析

Langfuse 发布 v4.25.0 版本，包含多项新功能、修复和重构。新功能包括定义标准化的 I/O 契约、增强 CSV 解析错误处理、改进 ClickHouse 查询 AST、持久化会话头部可见性、MCP 评估器输出定义、按数据集名称过滤评估样本等。修复涉及 API 历史数据访问限制、OTel 属性路径重建、UI 问题等。此外，还进行了多项代码重构和文

微软扩展Foundry模型路由器至28个区域并更新模型池

微软将 Foundry 模型路由器从两个区域扩展到 28 个全球标准部署区域和 21 个数据区域，并更新了模型池，新增了 Claude Opus 4.8 和 GPT-5.6 系列，移除了多个旧模型。默认配置的团队会自动接收更新，而自定义子集的团队则需手动调整。该更新强调 API 稳定性与行为稳定性的区别，并涉及路由模式、上下文窗口限制、成本附加费及合规性等细

llama.cpp b10715 发布：融合 DFlash 编码器提升性能

llama.cpp 发布 b10715 版本，主要更新是将 DFlash 编码器融合到 KV 缓存注入解码中，避免了设备到主机的数据传输和额外的图构建，提升了性能。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种二进制文件。

llama.cpp b10714 发布：优化 Vulkan 批处理推理性能

llama.cpp 发布 b10714 版本，主要针对 Vulkan 后端在 Strix Halo 上的批处理推理进行了性能调优，通过为 RDNA3 架构设置静态 mat-vec 行数（4行）来提升矩阵向量乘法的速度。该版本提供了适用于多种平台和硬件（如 macOS、Linux、Windows、Android）的预编译二进制文件。

llama.cpp b10713 发布：为 WebGPU 添加 MUL MAT 内存支持

llama.cpp 发布 b10713 版本，主要更新是为 WebGPU 支持在 ggml 中添加 MUL MAT 操作到可能需要额外内存的操作列表中。该版本提供了适用于 macOS、Linux、Android、Windows 和 openEuler 等多个平台的预编译二进制文件，涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO 等多种后端。

海信发布家庭智能伴侣级AIOS JUOS，实现从被动响应到主动懂家

海信于8月31日发布行业首个家庭智能伴侣级AIOS——海信JUOS，该系统面向家庭全场景，适配电视、闺蜜机、投影等多终端，搭载自研星海大模型与四大原生引擎，实现从被动响应到主动服务的代际跃迁。JUOS通过超级小聚、AI个性桌面、小聚妙联等核心体验升级，并获人工智能终端智能化分级L3认证，计划9月起推送至首批机型。

另有 1 家信源报道

范式与华为达成昇腾950算力战略合作

范式与华为达成战略合作，成为首批采用华为昇腾950芯片的AI企业。此次合作旨在应对境外算力不确定性，增强范式在金融、政务等行业的交付能力，并为其未来数年营收提供稳定基础。

llama.cpp b10712 发布：Vulkan 新增 top k 基数选择优化

llama.cpp 发布 b10712 版本，主要更新为 Vulkan 后端新增 top k 基数选择着色器，用于 k = 1024 的场景，并针对 Qwen 3.8 Flash Next 模型添加了 top-k 测试和 QSA 融合优化。该版本提供了多平台预编译二进制文件，包括 macOS、Linux、Windows、Android 等。

GPT-6 灰测 demo 刷屏，3D 生成能力惊人，周四发布在即

OpenAI 被曝正在灰测代号为 Astra 的 GPT-6 模型，开发者放出的 demo 显示其能一键生成带音效的 3D 资产，细节惊人。该模型因安全问题推迟发布，现进入大范围灰测，预计 9 月 3 日发布。

llama.cpp b10711 发布：修复 Hexagon CPY fence 错误

llama.cpp 发布 b10711 版本，主要修复了 Hexagon 后端中的 CPY fence 错误。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端，如 Vulkan、CUDA、ROCm、OpenVINO 等。

llama.cpp b10710 发布：为 M2 添加量化格式调优

llama.cpp 发布 b10710 版本，主要更新为针对 M2 芯片添加了 Q4 1、Q5 0、Q5 1 量化格式的 fa-vec 调优。该版本提供了适用于 macOS、Linux、Android、Windows 等多个平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。

VidParse：在线解析自我中心程序，无需训练

VidParse 是一个无需训练的在线自我中心程序解析框架，利用冻结的 DINOv2 和手-物检测器构建操作锚定特征，通过时间相似性矩阵和棋盘核检测动作边界，并使用图约束波束搜索强制执行程序性任务图。在 GTEA 和 EgoPER 基准上，该方法在复杂多步解析准确率上比强在线基线提升高达 10 倍，且无需梯度更新。

DAMP：衰减感知的循环状态混合精度量化

DAMP是一种针对Gated DeltaNet和Kimi Delta Attention等混合架构语言模型的新型量化方法，首次研究其循环状态的后训练量化。该方法通过结合量化误差能量和衰减持久性识别高风险通道，以混合精度存储，在9.9比特每状态值下保持接近FP32基线的精度，同时减少69.1%的存储并加速解码。

基于向量索引的输出嵌入加速LLM推理

该研究提出将大语言模型解码中的输出投影和top-k token选择重构为最大内积搜索（MIPS）问题，并使用基于HNSW的向量索引替代密集词汇投影，仅检索少量高得分token。在Gemma 3、Llama 3.2和Qwen 3模型上，该方法在CPU推理和批大小为1时，端到端吞吐量最高提升82%，同时保持生成质量。该方案无需重新训练，可无缝集成到现有模型中，适

量化触发后门：跨量化器迁移性与验证-部署差距

该论文提出量化触发后门攻击，利用后训练量化作为触发器，使模型在源精度验证时表现良性，但在INT8或4位压缩后激活恶意行为。研究将攻击扩展到多语言编码器-解码器seq2seq模型，并发现攻击持久性取决于量化器几何和模型架构而非标称位宽。结果表明源精度审计不足以认证部署行为，最终部署配置必须纳入行为认证。

FAID：面向隐式仇恨言论的细粒度自适应检测框架

本文提出了一种名为FAID的细粒度自适应隐式仇恨言论检测框架，将隐式仇恨言论分为浅层、定向和上下文依赖三类，并针对不同类别采用轻量级提示调优、知识增强和智能体推理等不同策略。实验表明，FAID在四个基准数据集上显著优于现有最先进方法，同时减少了计算冗余。

概率事件：实现实时量子感知的计算原语

本文提出了一种名为“概率事件”的计算原语，用于实时处理量子图像传感器（如SPAD）产生的光子流。该方法通过递归贝叶斯推断跟踪强度变化后的时间，生成运动自适应场景通量、高保真活动图和熵感知不确定性三种低延迟信号，避免了传统事件相机的固定阈值触发。在0.05勒克斯的极低光照下，该方法无需重新训练视觉模型即可实现人体姿态估计，处理速度超过每秒50,000帧量子帧，

llama.cpp b10709 发布：修复 RPC 跨服务器序列化问题

llama.cpp 发布 b10709 版本，主要修复了 RPC 后端中跨服务器张量序列化的问题，避免序列化来自其他服务器的缓冲区，并新增了双服务器回归测试。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。

llama.cpp b10708 发布：修复 ggml 内存分配防护

llama.cpp 发布 b10708 版本，主要修复了 ggml backend buft get alloc size() 的防护问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 Vulkan、CUDA、ROCm 等。