部署工程

LinkedIn 用多教师蒸馏将 AI 职位搜索训练提速 8 倍

LinkedIn 公布了其 AI 职位搜索背后的训练基础设施，采用多教师蒸馏流水线，将 8B 相关性教师模型和 1.7B 互动教师模型的知识压缩进 0.6B 参数的排序模型。系统基于开源 SGLang 构建自定义框架，在训练循环中直接服务教师模型，并通过在线/离线蒸馏拆分、LiGer、多节点训练、FSDP2 和 H200 集群等优化实现约 8 倍训练加速。该

Solstice-AI 发布 Qwen3.8-27B NVFP4 量化模型

Solstice-AI 在 Hugging Face 发布了 Qwen3.8-27B-TURBO-Fable-Cold-Fusion 的 NVFP4 量化版本，基于 DavidAU 的 Cold Fusion 合并模型进行下游量化与打包。该模型宣称在 Claude Code 评测框架下于 9 项基准中全面超越 Claude Opus 4.6 Max，并支持

llama.cpp b10905：CUDA/HIP Flash Attention 调优

llama.cpp 发布 b10905 版本，主要更新为 CUDA/HIP 上的 Flash Attention 调优（针对 gfx1201）。该改动在 RDNA4 上为 head size 256 启用 mma Flash Attention 并调整配置，同时在 AMD WMMA 上优先使用整块 tile 的 FA 网格而非 stream-k，并修订了 s

Mastra 发布 1.66.0：worker 配置、trace 查询与流式超时更新

Mastra 发布 @mastra/core@1.66.0 等更新，为 Mastra Cloud 引入部署范围的 worker 配置清单与运行时拓扑对比端点，并增强 trace 查询能力，支持按 span 字段、metadata、feedback 和 scores 过滤，覆盖 Postgres、ClickHouse、DuckDB 等存储后端。同时新增可观测性

会话追踪与成本控制助力诊断 AI Agent 故障

StackGen 首席工程师 Sabith K Soopy 在 CNCF 成员文章中分享了生产环境中 AI Agent 故障诊断的实践经验，指出标准应用监控无法解释 Agent 为何循环调用、调用无效端点或虚报完成工作。文章建议使用 Langfuse 捕获嵌套会话追踪，结合硬性迭代上限、单工具调用限制和统计监控来控制成本，并将有界指标导出至 Promethe

llama.cpp b10903 发布：修复 Vulkan argsort 竞态与越界

llama.cpp 发布 b10903 版本，修复了 Vulkan 后端 argsort 中的竞态条件和越界访问问题（PR #28705），其中越界访问可能解释 CI 中的失败。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

墨芯人工智能亮相外滩大会：以专用稀疏推理芯片提升算力效能

墨芯人工智能作为蚂蚁集团生态合作伙伴亮相2026 Inclusion·外滩大会，展示其AI计算卡产品，主打以专用稀疏推理芯片提升算力效能。其基于自研芯片的推理集群已在西北、西南、华东、华北四大片区数据中心部署，服务智能制造、生命科学、城市治理等场景，并即将推出新一代SparsePrime®计算卡。公司还于今年7月成为工信部人工智能标准化技术委员会成员单位，8

llama.cpp b10902 发布：OpenCL 新增 A8 Q4 0 矩阵乘法内核

llama.cpp 发布 b10902 版本，主要变更为在 OpenCL 后端新增 A8 Q4 0 矩阵乘法的二进制内核支持（PR #28268）。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后

AcFlow：通过学习条件激活流控制文生图扩散Transformer

论文提出 AcFlow，一种在推理阶段控制文本到图像扩散 Transformer（DiT）的方法。它通过一个学习到的、以概念描述为条件的速度场，对中间层图像 token 激活进行传输，同时保持基础 DiT 冻结。该方法支持连续调节风格强度并抑制不需要的概念，在风格-内容权衡上优于基线，且无需针对每个概念单独拟合即可泛化到未见概念。

VikingRAG：面向结构化文档的高效检索增强生成

该论文提出 VikingRAG，一个面向结构化文档的目录感知语义数据管理系统，将语义与结构访问紧密结合，支持基于证据缺口的多轮检索。系统通过将多轮检索轨迹物化为可复用的经验边，并引入自适应升级策略，在证据充分时仅用单轮经验增强检索。实验显示基础系统在保持高准确率的同时仅消耗现有方法 11.6%–51.9% 的 token，结合轨迹复用与自适应升级后可降至 5

NCP-ArchPreview：通过下一概念预测迈向潜在空间语言模型

上海AI Lab与上海交大LUMIA Lab联合发布NCP-ArchPreview技术报告，提出一种在标准下一词预测（NTP）之外增加下一概念预测（NCP）的潜在空间语言模型。该模型通过从隐藏状态构建乘积量化概念词表，并用专门的Concept Module预测跨多token的离散概念，再反馈到token层指导生成，NTP与NCP端到端联合训练。模型规模达8.

优化跨部署栈的AI推理

戴尔技术团队发表论文，提出跨部署栈的AI推理优化统一分析框架。作者将部署分解为模型层（量化、剪枝、蒸馏）、编译器层（图融合、布局优化、内核自动调优）和系统层（动态批处理、准入控制、内存分层）三层分类法，并将部署形式化为精度、延迟、吞吐、内存和能耗的多目标约束优化问题。论文还提出证据协议以解决现有基准测试条件不可比的问题，并综合了边缘平台与数据中心GPU的实证

基于轮换协调者的拜占庭鲁棒联邦火灾检测

该论文研究联邦学习在室内火灾检测中的应用，针对上行带宽受限、拜占庭客户端攻击以及固定聚合服务器单点故障三个问题提出解决方案。作者构建了来自八个公开来源的室内火灾检测数据集，设计了基于冻结MobileNet-V2特征提取器的边缘可部署检测器，并通过INT8/INT4量化和Top-k稀疏化压缩模型更新。同时提出一种半去中心化拜占庭鲁棒联邦学习方法，结合历史感知聚

NCP-ArchPreview：通过下一概念预测迈向潜在空间语言模型

该论文提出 NCP-ArchPreview，一种在自回归预训练中同时进行下一 token 预测（NTP）和下一概念预测（NCP）的潜在空间语言模型。模型通过从隐藏状态构建乘积量化概念词表，并用专门的 Concept Module 预测跨多个 token 的离散概念，再反馈到 token 层指导生成。模型规模达 8.9B 参数，在 Dolma-3 的 5.73

另有 1 家信源报道

碳硅道统：归零稳态的系统边界

文章提出「归零稳态」概念，认为硅基系统无法从「有」回到「空」，因为自回归生成、注意力与矩阵乘法等每一步都是「有到有」，架构中不存在空的接口。作者据此提出三条先天约束（必须存在归零操作、归零须独立于生成过程、须可重复稳态维持），并主张在现有自回归架构外挂一个不依赖训练数据、基于公理的独立判断模块，输出「继续或归零」二元信号。文章认为硅基只能无限逼近归零稳态，碳

DavidAU 发布基于 Qwen3.8-27B 的去审查微调模型

Hugging Face 用户 DavidAU 发布了基于 Qwen/Qwen3.8-27B 微调的模型 Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NM-DAU，采用 Apache-2.0 许可，主打去审查（uncensored）与多阶段调优。作者称该模型在 ARC-C 等核

Claude API 部分用户出现延迟升高

Anthropic 报告 Claude API 出现延迟升高问题，影响部分通过美国中西部入口访问的客户，表现为响应变慢和部分请求超时。该事件同时影响 Claude API（api.anthropic.com）和 Claude Cowork。目前问题已被缓解并标记为已解决。

GGUF 量化的逐张量布局映射

Hugging Face 博客介绍了一种针对 GGUF 量化的逐张量布局映射方法。作者利用 Claude Code 在 Framework 提供的 AMD AI Max+ 395 128GB 桌面上运行约 96 小时，对 Qwen3.5-0.8B 和 Qwen3.5-4B 等模型进行了 1000 多次量化实验，通过 degrade-one 和 upgrade

llama.cpp 发布 b10901：Vulkan 空闲时改用 CPU 写入

llama.cpp 发布 b10901 版本，主要变更是 Vulkan 后端在上下文空闲时，ggml backend vk cpy tensor async 改用 CPU 写入方式。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、Vulkan、ROCm、OpenVINO、SYCL、CUDA

AWS SageMaker Inference 推出前缀感知路由降低 LLM 延迟

AWS 在 Amazon SageMaker Inference 上推出 prefix-aware routing 路由策略，通过将具有相同提示前缀的请求持续发送到同一实例，使 KV 缓存得以复用。在 Llama 3.1 70B 的基准测试中，该策略将 P50 TTFT 降低最多 77%，吞吐量提升最多 16%，KV 缓存命中率从约 25% 提升至 80%