部署工程

Amazon Bedrock 为 Claude 模型推出结构化输出

AWS 宣布 Amazon Bedrock 上所有 Anthropic Claude 模型现已支持结构化输出，覆盖 bedrock-runtime 与 bedrock-mantle 两个端点。该功能通过约束解码在生成阶段强制 JSON Schema，使输出从概率性变为确定性，开发者无需再自行解析、重试或后处理。同时提供严格工具调用（strict tool u

llama.cpp b11744：server 新增 --connect 支持跨局域网 P2P 访问

llama.cpp 发布 b11744 版本，为其 server 组件新增 --connect 选项，允许通过 llama-connect 隧道让局域网外的客户端以点对点方式访问本地推理服务，该功能被明确标注为实验性。同时修复了未启用隧道时仍展示 connect code 的问题，并改进了端口绑定、主机选择及 Unix socket 场景下的处理。此次更新还

llama.cpp b11742：修复混合 DNA 分词器支持

llama.cpp 发布 b11742 版本，主要修复混合 DNA 分词器相关问题。该版本为 Carbon-14B 增加 HybridDNA 分词器支持，可自动标记未标记的 DNA 序列并使用 N 填充尾部 token；同时修复 Carbon-500M/3B/8B 等旧版 Carbon 模型在转换时特殊 token 与 merges 的处理。此次更新提升了

llama.cpp b11741：OpenCL 新增 q4 0/q4 k/q6 k 的 cooperative-k dp4a GEMM

llama.cpp 发布 b11741 版本，为 OpenCL 后端新增 cooperative-k dp4a GEMM 实现，覆盖 q4 0、q4 k 和 q6 k 三种量化格式，并修复了内存对齐问题。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO

亚马逊推出 TorchNeuron，正面挑战英伟达软件生态

AWS 发布 TorchNeuron 开发工具，让基于 PyTorch 的 AI 应用只需改一行配置即可运行在亚马逊自研 AI 芯片 Trainium 上，无需重写代码。亚马逊还计划向 PyTorch 上游贡献代码，移除框架与特定芯片绑定的部分，推动 PyTorch 硬件无关化。此举直接挑战英伟达依靠 CUDA 建立的软件生态优势，若成功将削弱开发者对英伟达

llama.cpp b11740：OpenCL 新增 i32 GET ROWS 与类型拷贝支持

llama.cpp 发布 b11740 版本，主要更新为 OpenCL 后端新增对 i32 类型 GET ROWS 操作的支持，以及 i32 与 f32 之间的拷贝转换支持。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端的预编译二进制包。

Cloudflare 优化 AI 代码审查器，推理成本降低 68%

Cloudflare 通过优化 AI 代码审查器，将平均审查成本从 2.43 美元降至 0.77 美元，降幅 68%，中位审查时间从 4 分 09 秒缩短至 1 分 32 秒。成本上涨主要源于模型切换（全面改用 Anthropic 模型）和 token 用量激增（每次审查 token 数从 91 万增至 299 万）。约 40% 的节省来自代码优化，其余来自

Tenstorrent 以 62 亿美元估值融资 15 亿美元，扩展开放权重 AI 芯片

AI 芯片初创公司 Tenstorrent 以 62 亿美元估值完成 15 亿美元融资，估值较 2024 年底的 26 亿美元翻倍有余。本轮由 Trace Capital 和 Innovation X 领投，Cadence Ventures、Eclipse、Fidelity、SanDisk、T. Rowe Price 等参投。CEO Jim Keller 表

MiniMax M3.1 Flash 发布：中国 AI 价格战未见底线

MiniMax 发布推理模型 M3.1 Flash，在 Artificial Analysis 智能指数上得分 42，比前代 M3 高 13 分，单任务成本却不到一半，约 0.22 美元。该模型在 Humanity's Last Exam 上达到 48%，在 AA-Omniscience 事实准确率上达到 56%，均超过 Deepseek V4.1 Flas

铭芯启睿完成超4亿元A轮融资，启动推理芯片LPU研发

北京存算协同芯片企业铭芯启睿宣布完成超4亿元A轮融资，由博原资本领投，博世创投、米哈游、兆易创新等跟投，小米战投等老股东持续加注，资金将用于RRAM产业化及新一代推理芯片LPU研发。公司同时宣布前Graphcore总裁兼大中华区总经理卢涛加入，担任CEO和联合创始人，标志其从RRAM技术公司转向存算协同芯片公司。铭芯启睿由中科院刘明院士团队孵化，已研制全球首

另有 1 家信源报道

中电信开源29B意图理解模型Xing4.0-29B-Intent

中电信人工智能科技有限公司星辰通用人工智能实验室于10月19日开源Xing4.0-29B-Intent模型，将意图理解从Jev式的分类判断扩展为意图分类加参数抽取，并统一输出结构化JSON。该模型基于星辰29B底座微调，端到端推理延迟低于150毫秒，零样本Micro-F1达70.27，较Jev最优配置高12.62个百分点，在48个公开数据集统一评测中总分58

另有 1 家信源报道

llama.cpp 发布 b11739：jinja 新增 unique 过滤器

llama.cpp 发布 b11739 版本，主要变更是为内置 jinja 模板引擎实现 unique 过滤器，并做了 key of 内联与对齐修复。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台、多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO 等）的预编译二进制及 UI 包。此次更新属于工具链

Cloudflare 推出 System One 提取模型 Clairic

Cloudflare 发布 System One 类提取模型 Clairic 预览版，托管于 Workers AI（@cf/cloudflare/clairic），并计划近期开源权重。该模型可从非结构化输入中提取、计算、估计和预测数值，相比传统 LLM 准确率更高、延迟更低、成本更省。它单次前向处理输入、不生成 token，输出带置信度的类型化值（span、

另有 1 家信源报道

Transformers 发布 v5.20.2 补丁版本

Hugging Face Transformers 发布 v5.20.2 补丁版本，修复了 generate 中 prepare inputs for generation 可能导致输入丢失原始类型、进而影响多模态模型的问题。同时修复了 bfloat16 下专家并行且 ep size 小于 fsdp size 时专家梯度为零的问题，并声明仅报告文本的 VLM

TheStage AI 发布 Whisper Large V3 Turbo 优化版

TheStage AI 发布 thewhisper-large-v3-turbo，这是对 OpenAI Whisper Large V3 Turbo 进行量化与编译优化的变体，面向实时、低延迟、低功耗的语音识别推理。该模型通过其 ANNA 加速器生成 XL/L/M/S 四档弹性模型，可在 NVIDIA GPU、Apple Silicon（CoreML）和 A

Langfuse 发布 v4.64.0：Assistant 更名 Halo，新增消息对比与 API 密钥权限

Langfuse 发布 v4.64.0 版本，主要更新包括：将 Langfuse Assistant 更名为 Halo，默认启用项目 API 密钥权限，在 trace 中移动消息标签页并复用会话时间线，新增 transcript 消息对比与连续性功能，以及 AI Gateway 按内存预算准入请求等。此外还修复了查询 AST 软删除行、公共 API 跨项目密

用 NVIDIA CUDA Tile 高性能前向内核加速 Mamba-2

NVIDIA 技术博客介绍其 Python 并行编程 DSL cuTile，Jane Street 的机器学习工程师作为早期采用者用 cuTile 实现了 Mamba-2 序列模型，并与 NVIDIA 合作优化内核。文章详细讲解 Mamba-2 前向传播的三个自定义内核及其 cuTile 优化，展示如何通过分块矩阵乘法利用 Tensor Cores 加速训练

llama.cpp b11738：修复 server 端 SWA checkpoint 失效逻辑

llama.cpp 发布 b11738 版本，主要修复了 server 端 SWA（滑动窗口注意力）checkpoint 失效判断逻辑的缺陷，并新增了在 n past 场景下会失败、在 n prefix 场景下正常的测试用例。该版本同时提供 macOS、Linux、Windows、Android 等多平台及各硬件后端（CUDA、Vulkan、ROCm、SYC

cyankiwi 发布 Qwen3.5-9B AWQ-BF16-INT8 量化模型

cyankiwi 在 Hugging Face 发布了 Qwen3.5-9B 的 AWQ-BF16-INT8 量化版本，基于 Qwen/Qwen3.5-9B 使用 llm-compressor 完成量化，校准数据来自 nvidia/Llama-Nemotron-Post-Training-Dataset，模型体积约 14.14 GB，采用 Apache-2.

Deepgram 用 AWS Trainium2 优化语音 AI 推理

Deepgram 与 AWS 合作，将其 Nova-3 语音转文字模型从标准 PyTorch 代码移植到 AWS Trainium2 芯片，用于离线批量工作负载（如呼叫中心分析和医疗转录）。通过 TorchNeuron 编译、NKI 内核调优和 Rust 数据并行运行时，最终在单台 trn2.3xlarge 实例上运行八个模型副本，每美元处理的音频量比原有方