llama.cpp 发布 b11537：重排 embeddings 的 get rows 并修复 gemma4
llama.cpp 发布 b11537 版本，主要改动是重排 embeddings 路径中的 get rows 操作，并修复 gemma4 模型、改进输入 embedding 构建逻辑、修复原始 embeddings 路径，同时为 lora 添加 TODO。该版本同步提供 macOS、Linux、Windows、Android 等多平台多后端（CUDA、Vu
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3312 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月10日周六 · 8 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11535：llama-bench 支持 -fitc 参数
llama.cpp 发布 b11535 版本，主要变更是 llama-bench 现在会在 -fitc 参数大于所需基准测试规模时予以尊重（PR #28331）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包，包括 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等。
正文结构化主题已通过公开置信门槛
llama.cpp b11534：CUDA 移除 SSM SCAN 后冗余拷贝
llama.cpp 发布 b11534 版本，主要针对 CUDA 后端进行优化：在 SSM SCAN 之后移除冗余的 CUDA 拷贝，将更新后状态快照的拷贝融合进循环缓存，并在 K==1（非投机解码）场景下同样移除冗余拷贝。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包。
正文结构化主题已通过公开置信门槛
Cloudflare 发布多模态决策模型 Clef-omni，并降价提速 Clef 系列
Cloudflare 发布 Clef-omni 开放权重决策模型，支持音频、视频、图像和文本多模态输入，基于 Qwen3-Omni-30B-A3B-Instruct MoE 架构，冻结主干并训练 LoRA 适配器。同时 Clef-flash 降价至低于 Jev，Clef 速度提升。该模型在单次 API 调用中完成多模态评分，文本决策中位延迟约 130ms，2
正文结构化主题已通过公开置信门槛
llama.cpp b11533 修复 A6x GPU OpenCL 内核编译
llama.cpp 发布 b11533 版本，主要修复了 OpenCL 后端在 A6x GPU（如 Adreno 623）上的内核编译问题。具体包括在 A6X 上跳过 kernel cpy f32 f32 pack 以避免着色器编译器崩溃、为 GEMV 内核中的 get local size 提供 A6X 常量折叠变通方案，并将 Adreno 623 加入
正文结构化主题已通过公开置信门槛
曝英伟达计划投资AI推理芯片创企d-Matrix
据The Information报道，英伟达计划投资美国AI推理芯片创企d-Matrix，这是其自2025年12月与Groq达成200亿美元许可协议以来首次投资AI推理芯片初创公司。三个月前双方已宣布合作，让两家芯片协同处理同一AI推理工作负载的不同部分，即“解耦式推理”。英伟达此前还向英特尔投资50亿美元、向Marvell投资20亿美元，试图将对手芯片纳入
正文结构化主题已通过公开置信门槛
llama.cpp b11532：ModernBERT 编码器改用精确 GELU
llama.cpp 发布 b11532 版本，主要变更是为 ModernBERT 编码器使用精确的 GELU 激活函数（PR #30108），同时保留 ggml geglu 上的 tanh GELU 别名，并将 gelu python 映射到 ggml geglu erf。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11531：重构 chat API
llama.cpp 发布 b11531 版本，主要变更是对 chat 模块的 API 进行重构（PR #30210）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
10月9日周五 · 12 条
正文结构化主题已通过公开置信门槛
AWS 2026年9月AI更新：Bedrock、AgentCore与Strands新进展
AWS 发布 2026 年 9 月 AI 构建者更新汇总，涵盖 Amazon Bedrock、AgentCore 和 Strands 三方面。Bedrock 新增 OpenAI 的 Astra、Sol、Luna 模型，Claude Fable 5.1、Opus 5.5、Sonnet 5.5，Moonshot AI 的 Kimi K3，以及 xAI 的 Gro
正文结构化主题已通过公开置信门槛
Postman 如何在 Amazon Bedrock 上为 4000 万开发者运行 Agent Mode
Postman 在 Amazon Bedrock 上构建并运营 Agent Mode，为 4000 万开发者提供 AI 原生的 API 测试、文档、发现与实现体验。团队发现真正的挑战不是模型质量或提示设计，而是将 agent 集成进有 11 年历史、界面驱动假设深厚的成熟产品。文章分享了控制工具泛滥、暴露基于 schema 的读取、以及把上下文而非能力视为主
正文结构化主题已通过公开置信门槛
llama.cpp b11529 修复 ggml acc 越界写入漏洞
llama.cpp 发布 b11529 版本，修复了 ggml acc 中因负偏移量导致的越界写入漏洞。ggml acc impl 在将 size t 偏移量收窄为 int32 t 时未做范围检查，大偏移量截断为负数后被符号扩展为巨大 size t，绕过边界断言，造成 dst 缓冲区下方越界写入。修复方式是在收窄前检查偏移量，与 ggml set impl
正文结构化主题已通过公开置信门槛
WanGP 发布 Qwen Image 2.1 Turbo 单文件权重
DeepBeepMeep 在 Hugging Face 发布了适配 WanGP 的 Qwen Image 2.1 系列单文件权重，包括官方 Qwen-Image-2.1-Turbo 的 BF16 与 INT8 ConvRot 量化版本。该权重面向低显存与旧 GPU 用户，推荐使用 8 步、CFG 1 及专用调度器，无需加速 LoRA，并复用原有文本编码器与
正文结构化主题已通过公开置信门槛
llama.cpp b11528：修复 meta 后端主机张量视图断言
llama.cpp 发布 b11528 版本，主要修复了 meta 后端在处理主机内存张量视图时的断言问题：ggml-alloc 不会为视图单独分配缓冲区，而 meta 后端此前会在遇到这类节点时崩溃，该改动同时泛化了此前的 s copy main 变通方案，修复了使用 --split-mode tensor 配合部分 offload 时 KV cache
正文结构化主题已通过公开置信门槛
llama.cpp b11527：WebGPU 算子改用 2D 工作组调度
llama.cpp 发布 b11527 版本，主要变更是 WebGPU 后端将所有原本使用 1D 工作组调度的算子（如 rms norm）改为使用 2D 工作组调度，并移除了 1D 工作组调度逻辑。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端的
正文结构化主题已通过公开置信门槛
llama.cpp b11526 发布：修复 Vulkan rms norm workgroup 溢出
llama.cpp 发布 b11526 版本，主要修复了 Vulkan 后端中 rms norm 算子 workgroup 数量溢出的问题（PR #30145）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11524：默认架构移除 MUSA mp 21
llama.cpp 发布 b11524 版本，主要变更是从默认架构中移除 MUSA 的 mp 21，由摩尔线程的 Xiaodong Ye 提交并经过评审修改。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 和 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等
正文结构化主题已通过公开置信门槛
Netflix 规模下的本体驱动端到端可观测性知识图谱
Netflix 可观测性团队工程师 Prasanna Vijayanathan 和 Renzo Sanchez-Silva 在演讲中介绍了 Netflix 规模下的可观测性挑战：峰值 6500 万并发流、每日超 20 亿请求、每秒超 3800 万实时日志事件。他们提出以本体（ontology）驱动的端到端知识图谱，将传统被动监控转变为主动洞察引擎，实现自动检
正文结构化主题已通过公开置信门槛
Xinference 发布 v4.0.0：新增 Responses API 与 Xavier KV 共享
Xinference 发布 v4.0.0，新增无状态 OpenAI Responses API（/v1/responses）、jina-ocr-v1 OCR、Confucius4-TTS 支持，并引入 Xavier 快照存储与 KV 缓存共享机制，支持 vLLM、SGLang、MLX 之间的 P/D 分离与跨平台传输。该版本还新增 NIXL 后端、运行时日志
正文结构化主题已通过公开置信门槛
mradermacher 发布 decider-35b-a3b 的 GGUF 量化版本
开发者 mradermacher 在 Hugging Face 上发布了 Mapika/decider-35b-a3b 模型的 GGUF 量化版本，提供从 Q2 K 到 Q8 0 共 11 种量化规格，文件大小覆盖 13.0GB 至 37.0GB。该模型基于 Apache-2.0 许可，标签显示其定位为决策模型，具备校准、结构化输出、多任务、单次推理及混合专
正文结构化主题已通过公开置信门槛
Langfuse v4.56.0 发布：设计系统更新与只读副本性能优化
Langfuse 发布 v4.56.0 版本，主要更新包括：Web 端引入设计系统 CodeSection 替换 CodeView、会话工具预览增加语法高亮、为 ClickHouse 计费组织发送支出告警、评估决策模型结果改版、表格支持自定义行高；同时修复大量 Web 界面细节问题，并将多项评分、提示词、数据集等查询路由到只读副本以提升性能。