llama.cpp b11575 发布：修复 Metal 大张量矩阵乘错误
llama.cpp 发布 b11575 版本，主要修复了 Metal 后端在处理大张量时 kernel mul mm 出错的问题（PR #28748），该修复由 Codex 辅助完成。同时该版本照例提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台、多后端（CPU、CUDA、Vulkan、ROCm、S
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3312 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月13日周二 · 8 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Ollama 发布 v0.40.4：升级 llama.cpp 并支持 EmbeddingGemma 2
Ollama 发布 v0.40.4 版本，主要更新包括将 llama.cpp 升级至 b11521 以支持决策模型和 EmbeddingGemma 2，服务端在推理路由中复用已验证的 manifest 和已加载模型，MLX 在投机回滚后压缩恢复的循环状态，并在 Codex 的 /model 选择器中纳入已安装模型。此外还进行了 MLX 与 MLX-C 的版本
正文结构化主题已通过公开置信门槛
mradermacher 发布 Gemma-4-26B-A4B-StyleTune-V2 的 GGUF 量化版
Hugging Face 用户 mradermacher 发布了 Gryphe/Gemma-4-26B-A4B-StyleTune-V2 的 GGUF 量化版本，提供从 Q2 K 到 Q8 0 共 11 种量化文件，采用 apache-2.0 许可，面向对话、指令微调、角色扮演和创意写作场景。该发布降低了这一 26B 风格微调模型的本地部署门槛，方便用户在消
正文结构化主题已通过公开置信门槛
在东南亚及台湾地区通过 Amazon Bedrock 跨区域推理访问 OpenAI GPT-6
AWS 发布博客，介绍在泰国、马来西亚、新加坡、印度尼西亚和台湾地区通过 Amazon Bedrock 的全球跨区域推理访问 OpenAI GPT-6 系列模型（GPT-6 Sol、GPT-6 Luna、GPT-6 Astra）。文章说明如何配置调用、设置 IAM 与 SCP 权限、管理配额并监控推理，并给出 Converse API、OpenAI 兼容 A
正文结构化主题已通过公开置信门槛
IsValorum 发布 Qwen3.8-27B 无审查模型 NanoPlus V3 GGUF 量化版
IsValorum 在 Hugging Face 发布了 Qwen3.8-27B-EfficientThink-Uncensored 的 VAL-APEX-I NanoPlus V3 GGUF 量化版本，文件大小 11.93 GB，整文件 BPW 为 3.55，WikiText-2 PPL 为 5.6504 ± 0.4832。作者称此前旧版量化存在严重的循环
正文结构化主题已通过公开置信门槛
Gemma 4 31B IT 的 NVFP4 Blackwell 量化版发布
开发者 melcheikh 在 Hugging Face 发布了 melcheikh/gemma-4-31B-it-qat-NVFP4-Blackwell，将 Google 的 Gemma 4 31B IT 未量化 QAT 权重通过 NVIDIA Model Optimizer（modelopt 0.44.0）量化为 NVFP4 格式，以便在 NVIDIA
正文结构化主题已通过公开置信门槛
清空聊天历史可帮助 AI 智能体找到更优解
微软研究院一项研究发现，长时间运行的 AI 研究智能体即便增加算力也会陷入性能瓶颈，因为累积的对话上下文会把搜索限制在相似的「想法盆地」中。研究者提出 Fork-and-Flush 方法：将智能体分叉为多个并行分支，每个分支继承工作区文件但清空聊天历史。在 13 个长时任务上，该方法在同等算力下将归一化平均分从单次运行的 0.47 提升至 0.78，相对提升
正文结构化主题已通过公开置信门槛
ReplaySSM：重思状态存储以加速混合模型解码
NVIDIA 与普林斯顿 Dao AI Lab 联合提出 ReplaySSM，将 SSM 状态表示为检查点加近期输入缓冲区，从而把输出计算与状态更新解耦。该方法针对混合模型解码中的状态流量、推测解码回滚和量化状态误差累积三大问题，在 vLLM 中实现并集成到 TensorRT-LLM、FlashInfer，已在 GLM-5.3-Flash 和 Kimi-K3
10月12日周一 · 12 条
正文结构化主题已通过公开置信门槛
在 Amazon SageMaker AI 上用 llama.cpp 部署决策模型
AWS 在 Machine Learning Blog 发布教程，介绍如何用 llama.cpp 的 AWS Deep Learning Container 在 Amazon SageMaker AI 上部署决策模型。方案包含两条路径：标准路径通过 OpenAI 兼容的 chat completions 接口提供文本生成，结构化决策路径则构建子镜像并接入 S
正文结构化主题已通过公开置信门槛
AWS 推出多节点 Ray LLM 深度学习容器，支持 EKS 上 PD 分离推理
AWS 发布面向多节点推理的 Ray LLM Deep Learning Containers（DLC），用于在 Amazon EKS 上跨两个 GPU 节点部署单个大语言模型。该方案将 prefill 与 decode 阶段分离到不同节点，通过 NIXL 和 EFA 传输 KV cache，并对外暴露 OpenAI 兼容端点。容器内置 vLLM、Ray S
正文结构化主题已通过公开置信门槛
微软计划2027年将自研Maia AI芯片扩展至吉瓦级
微软计划从2027年起以多吉瓦规模部署自研Azure Maia AI芯片，使其成为公司产品的主要推理系统。Maia 200已在美国、欧洲和澳大利亚运行Microsoft Copilot，GitHub Copilot和Foundry将在年底跟进。CEO Satya Nadella称这是公司对自研芯片的最大押注。继任者Maia 300将于2027年出货，面向长输
正文结构化主题已通过公开置信门槛
llama.cpp b11574：优化 Hexagon NPU 的 CPY/CONCAT 操作
llama.cpp 发布 b11574 版本，主要针对 Hexagon NPU 后端优化 CPY/CONCAT 操作，采用按行分块的 DMA 描述符处理短行以避免 DMA 延迟瓶颈，并引入线程化 DMA/HVX gather-row 辅助函数。此次更新还包含 f16 快速路径、双缓冲支持、维度折叠、去除冗余屏障以及修复 mdev 场景下的随机挂起问题，同时新
正文结构化主题已通过公开置信门槛
llama.cpp b11572 发布：支持 vllm d3 模型
llama.cpp 发布 b11572 版本，主要新增对 vllm d3 系列模型的支持，包括 pplx-decider 和 vllm d2，并更新了命名规则与更严格的校验逻辑。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CUDA、Vulkan、ROCm、SYCL、
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11571：新增 vllm decision 2 模型支持
llama.cpp 发布 b11571 版本，主要新增对 vllm decision 2 模型的支持（#30378），包括支持 pplx-decider 模型、更新命名规则、加强校验并修复 CI。同时该版本继续提供覆盖 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。
正文结构化主题已通过公开置信门槛
llama.cpp b11570：测试按需链接库并显式启用 C++17
llama.cpp 发布 b11570 版本，主要改动是重构测试构建系统：为 llama build() 和 llama build and test() 增加 LINK 关键字（默认 llama-common），使各测试只链接其实际使用的库，例如 ggml-only 测试仅链接 ggml，llama-only 测试不再链接 llama-common，mtm
正文结构化主题已通过公开置信门槛
llama.cpp b11569：修复 Metal mul mat id 重复 id 问题
llama.cpp 发布 b11569 版本，主要修复 Metal 后端 mul mat id 算子在 ids 存在重复时产生错误或丢失输出行、并可能越界写入相邻专家切片的问题。修复通过两遍扫描构建按专家的紧凑 (token, slot) 列表，并借鉴 Vulkan 实现由预处理阶段派发 entry tile，使网格规模缩小约 8-16 倍。883/883
正文结构化主题已通过公开置信门槛
微软发布第三代自研AI芯片Maia 300，降低对英伟达GPU依赖
微软发布第三代自研AI芯片Maia 300，定位为微软产品与服务的“主要AI推理系统”，计划2027年投入生产部署。该芯片采用chiplet架构与台积电N2P工艺，官方称每兆瓦token数比领先GPU系统高40%，96加速器配置下机架级吞吐量达Maia 200的7倍。微软云业务负责人Scott Guthrie表示将把Maia扩展至多吉瓦级部署，从而减少对Nv
正文结构化主题已通过公开置信门槛
React Native ExecuTorch 发布 whisper-tiny 端侧模型
Software Mansion 在 Hugging Face 发布了为 React Native ExecuTorch 库导出的 whisper-tiny 模型仓库，提供 CoreML、MLX、Vulkan、XNNPACK 四种后端共 7 个 .pte 变体，可在设备端运行。其中 XNNPACK int8 版本在 LibriSpeech 与 FLEURS
正文结构化主题已通过公开置信门槛
llama.cpp b11567：新增推理计算图重分配回调报告
llama.cpp 发布 b11567 版本，新增可选的 ggml backend sched realloc callback 回调机制，允许用户代码在推理过程中图缓冲区不足需重新分配时收到通知。llama context 在创建调度器时注册该回调，将后端分配变化视为预期情况，其余按图大小变化计数，并在性能统计中输出这两个计数器。该版本同时提供 macOS
正文结构化主题已通过公开置信门槛
Agno v3.1.3：外部智能体新增持久会话与后台运行
Agno 发布 v3.1.3，为 ClaudeAgent 和 CodexAgent 等外部智能体新增多项能力：会话可在任意副本上恢复并持久化到数据库、支持后台运行与取消、步骤回放、重试、指标统计、压缩、事件存储、结构化输出和媒体附件。这些功能让外部智能体与 Agno 原生智能体共享同一套运行、队列和事件流基础设施，提升了跨机器持久性和可观测性。