部署工程

Ollama v0.32.10 发布：默认重复惩罚调整与性能优化

Ollama 发布 v0.32.10 版本，主要更改包括：未设置 repeat penalty 的模型默认值从 1.1 改为 1.0（关闭），以匹配其他引擎并加速推测解码；NVFP4 MLX 模型全局缩放使预填充速度提升约 7-8%；修复了 OCI 清单配置和层共享摘要时 blob 验证被跳过的问题。

Grok 4.6 性能追平 GPT-5.6，价格大幅低于对手

SpaceXAI 发布了新模型 Grok 4.6，在 Artificial Analysis Intelligence Index 上得分 61，与 OpenAI 的 GPT-5.6 Sol 持平，仅次于 Anthropic 的 Claude Opus 5 和 Claude Fable 5。该模型在代理任务上表现优异，在 GDPval-AA v2 基准上排名

另有 1 家信源报道

NVIDIA 在 GB300 NVL72 上支持 Qwen3.8-2.4T-A95B 模型部署

阿里巴巴发布了其最大的开源权重模型 Qwen3.8-2.4T-A95B（Qwen3.8-Max），总参数达 2.4T，每个 token 激活 95B 参数，采用细粒度 MoE 架构和全注意力与线性注意力混合设计，支持百万 token 上下文。NVIDIA 宣布该模型可在 GB300 NVL72 平台上以 FP8 精度实现每 GPU 每秒超 4K tokens

Anthropic 多模型性能降级已解决

Anthropic 报告了多个模型出现性能降级问题，主要影响 Claude Fable 5，导致请求错误率上升。团队已识别并正在解决该问题，目前事件已解决。受影响的服务包括 claude.ai、Claude API、Claude Code 和 Claude Cowork。

研究人员实现从LLM输出文本近乎完美地逆向工程提示词

IIT Bombay和Adobe Research的研究人员开发了一种名为“Previous-Token Prediction”(PTP)的方法，能够仅根据LLM的输出文本以近乎完美的准确率重建原始提示词，无需访问模型权重，甚至适用于第三方模型。该方法通过训练一个逆语言模型来预测前一个token，并能在不知道具体模型的情况下提取提示词，这可能导致专有系统提示

NVIDIA AI 工厂全栈可观测性选型指南

NVIDIA 技术博客发布了一篇关于 AI 工厂全栈可观测性选型的指南，针对 AI 基础设施多层架构中故障定位难的问题，提出了一个基于 NVIDIA DGX 部署的决策框架。文章通过分布式训练中 InfiniBand 链路静默故障的案例，说明了全栈可观测性的重要性，并给出了组件到遥测工具的映射表，帮助运维团队选择最小工具集并构建分诊仪表板。

Vercel AI SDK 7.0.63 发布：修复推理块 ID 并增强 Provider 兼容性

Vercel AI SDK 发布 7.0.63 版本，主要修复了 UI 消息流中推理块的 ID 保留问题，并允许不支持重排序模型的提供商分配给 Provider。同时更新了 @ai-sdk/gateway 依赖至 4.0.50。

Langfuse v4.10.0 发布：增强代理功能与多项修复

Langfuse 发布 v4.10.0 版本，新增多项功能，包括允许用户在应用内代理运行时开始新对话或切换对话、跟踪认证后端活动、添加 Cursor Cloud 环境、集成指标 API 以及提升观测负载上限至 20k。同时修复了多个问题，如公共评论创建时的 authorUserId 验证、SCIM 用户配置中的密码属性忽略、Docker socket 可达性

OneAdvanced 在 AWS 上部署 50 多个 AI 代理实现英国数据主权

OneAdvanced 是一家英国企业软件提供商，在 AWS 上部署了超过 50 个 AI 代理，使用 Llama 4 Maverick 和 Llama Guard 4 模型，通过自托管方式满足英国数据主权要求。该解决方案基于 Amazon SageMaker AI、vLLM、RAG 管道和 Strands Agents SDK，支持医疗、法律等受监管行业。

AWS 推出 SageMaker HyperPod 分层 KV 缓存，提升 LLM 推理性能

AWS 在 SageMaker HyperPod 上推出分层 KV 缓存架构，结合 Curvine 分布式缓存文件系统，将 KV 缓存从 GPU 扩展到 CPU 和共享 NVMe 池，实现跨副本缓存复用。测试显示，该方案可将跨 Pod 缓存命中率提升至 100%，TTFT 改善最高达 2.7 倍，并允许在更低成本的 G6e 实例上运行原本需要 P5 实例的工

llama.cpp b10375 发布：优化 Qwen 模型解析

llama.cpp 发布 b10375 版本，主要更新为收紧 Qwen 模型的 bare function 解析逻辑。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。

紫东太初推出GMC剪枝法：减80%Token仍保多模态能力

中国科学院自动化研究所紫东太初大模型团队提出核心集剪枝方法GMC，通过互补证据自适应筛选与群体互补信息传输双阶段架构，在免训练、无额外依赖的情况下压缩视觉Token。实验表明，在Qwen2.5-VL-7B上减少80% Token仍保留97.78%能力，在LLaVA-1.5-7B上性能几乎无损，并减少KV Cache占用，提升推理速度。该方法可兼容主流视觉语言

InSight-doc：面向长文档理解的智能视觉感知框架

InSight-doc 是一种用于长文档理解的智能视觉感知框架，将视觉分辨率视为可自适应调整的推理时资源。它从低分辨率开始，无需外部检索器即可选择性放大高分辨率区域以获取更精细的证据。通过包含17.9K SFT示例和19.2K硬RL示例的训练，InSight-doc-8B在文档VQA基准上提升了4.3-16.4个准确率点，在长文档上将幻觉减少超过40%，推理

Mistral 推出欧盟数据处理和优先访问服务，但存在重要限制

Mistral 推出欧盟区域数据处理选项和优先队列访问服务，均需额外付费。区域推理仅覆盖部分功能，且账户设置等数据仍可能在区域外处理。优先层级提供 99.5% 可用性 SLA，但价格上浮 75%。此外，Mistral 平台开始托管第三方模型，如 Z.ai 的 GLM-5.2，并寻求长期算力承诺以支持欧洲数据中心建设。

llama.cpp b10373 发布：优化 imatrix 专家检查

llama.cpp 发布 b10373 版本，主要更新为 imatrix.cpp 中的有限检查逻辑，仅检查被触及的专家。该版本提供了适用于 macOS、Linux、Windows、Android 及 openEuler 等多平台的预编译二进制文件，支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等多种后端。

幂律图注意力：缩放点积注意力的精确推广与推理坍缩

Hugging Face 每日论文发布了一篇关于新型注意力机制的研究，提出 Power Law Graph Attention (PLGA)，用学习到的幂律双线性算子替代固定缩放点积注意力 (SDPA)，并构建了 PLDR-LLM 模型。论文通过定理和测量验证了 PLGA 在特定条件下包含 SDPA，并发现推理时存在输入不变性导致推理坍缩的现象。该研究还提供

FP8 KV-Cache 在 Intel Arc Pro B70 上实现 2 倍容量与长上下文吞吐增益

Hugging Face 博客评估了 Intel Arc Pro B70 上 FP8 KV-cache 量化在 vLLM 中的表现，显示相比 BF16，FP8 KV 在所有测试模型上实现了确定性 2 倍 KV 缓存容量提升，并在长上下文（16K-32K）场景下带来最高 42.3% 的吞吐量增益。FP8 KV 在 10 个模型中的 8 个上接近无损，但 Dee

解码级禁忌：大语言模型鲁棒性的诊断压力测试

Hugging Face 每日论文介绍了一项名为 Decoding-Level Taboo 的运行时 logit 空间压力测试，用于评估大语言模型在非标称生成路径上的鲁棒性。研究发现，模型的鲁棒性受参数规模和指令对齐影响，规模越大、对齐越好则鲁棒性越强。该测试还可用于生成合成数据集、测试安全护栏和审计模型可靠性。

UniMoMo：基于专家合并的推荐系统MoE加速方法

UniMoMo 是一种针对大型推荐系统中混合专家（MoE）模型的训练后压缩框架，通过功能相似性分组和层自适应保护，将训练好的 MoE 模型压缩为更小的标准 MoE 检查点，在保持精度的同时加速推理。实验表明，在 Amazon Beauty、KuaiRec 和 TenRec 数据集上，将专家数从 8 压缩到 4 时，NDCG@10 保持 99.92%–102.

AMD收购Taalas：为特定模型定制芯片的‘拖拉机’策略

AMD宣布收购AI推理芯片公司Taalas，计划将其技术纳入加速器路线图。Taalas采用模型硬化路线，将模型权重固化进硬件，以降低推理成本和提高速度，首款芯片HC1运行Llama 3.1 8B时生成速度达1.7万Token/s。该路线面临模型迭代风险，但Taalas通过可编程SRAM和掩膜修改应对。业内专家认为，AMD此举如同购买拖拉机，其价值取决于是否存