llama.cpp b11909:Hexagon MUL MAT ID 跳行优化
llama.cpp 发布 b11909 版本,主要针对 Hexagon NPU 后端优化 MUL MAT ID 的跳行(row skipping)处理,包括对跳过行的清零操作进行向量化,并在融合的 MM ID NX 路径中加入清零,同时移除标量除法。该版本同步提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUD
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3302 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11909 版本,主要针对 Hexagon NPU 后端优化 MUL MAT ID 的跳行(row skipping)处理,包括对跳过行的清零操作进行向量化,并在融合的 MM ID NX 路径中加入清零,同时移除标量除法。该版本同步提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUD
llama.cpp 发布 b11908 版本,主要变更是将 no alloc 从 llama hparams 中移出,并进行了代码清理,同时在 test-llama-context 中新增 no alloc 测试用例。该版本同步提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVIN
OpenAI 发布中端模型 GPT-6.1 Terra,API 价格仅为前代 GPT-5.6 Terra 的一半,输入每百万 token 1 美元、输出 5 美元,主打办公任务与自动化软件控制。Artificial Analysis 称其刷新了「每美元智能」基准,在智能指数上比前代高 6 分而单任务成本不到三分之一,并显著降低幻觉率。该模型达到 OpenAI
另有 3 家信源报道
Anthropic 向 SEC 提交 S-1 文件,计划以代码 "ANT" 在纳斯达克上市,成为首家公开递交招股书的主要 AI 实验室。文件显示其 2026 年 Q2 营收达 116 亿美元,首次实现 9.74 亿美元 GAAP 营业利润,但长期算力承诺高达 7800 亿至 8100 亿美元。现有客户支出同比增长约 9 倍,80% 收入来自按 token 用
llama.cpp 发布 b11905 版本,主要变更是 Vulkan 后端利用 subgroup reductions 优化 RMS Norm 计算,并加入 AMD 厂商支持、快速路径跳过第二次 subgroupAdd、循环展开以及 128/256/512 块大小的非 subgroup 路径。该版本同时提供 macOS、iOS、Linux、Android、
Vercel AI SDK 发布 ai@7.0.154 补丁版本,为 generateText、streamText、ToolLoopAgent 及遥测集成新增 onStepError 回调,并为 ToolLoopAgent 增加 onError 和 onAbort 回调。同时新增 aiVersion 遥测字段,便于追踪订阅方识别发出事件的 ai 包版本,并
llama.cpp 发布构建版本 b11904,主要变更是将 SYCL 后端的普通 MMVQ 启动三元组改为模板化(PR #31013)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Snapdragon 等后端。
DigitalOcean 宣布 Learning Services 与 Agent Data Services 进入公开预览,前者包含 Insights、Signals、Simulations 三项能力,用于记录智能体活动、识别失败与性能缺口,并在部署前通过模拟对话测试改进方案;后者为智能体提供统一的数据基础,可处理文档、音视频、日志和会话记录。两项服务建立
AWS Machine Learning Blog 发布技术文章,介绍在 Amazon Bedrock 上使用 OpenAI 模型时,如何通过提示缓存(prompt caching)降低 AI 智能体的成本。文章解释了智能体每一轮都需重发工具定义、指令和历史记录,导致重复计费;提示缓存通过保存 prefill 阶段的 KV 状态,在后续请求中复用相同前缀,按
AWS 博客介绍如何用 AWS CDK 在 Amazon Bedrock 托管知识库(Type: MANAGED)上构建企业级 agentic retrieval。文章对比传统单次 RAG 的局限,说明托管知识库接管了摄取、存储、索引和检索,并配合 Bedrock AgentCore 的 Gateway(将知识库暴露为 MCP 工具)、Runtime 和 A
NVIDIA 发布技术博客介绍其 AI 原生 AIOps 平台 Minerva,用于解决 AI 工厂中 GPU 集群遥测数据分散、故障诊断困难的问题。Minerva 跨 GPU、Spectrum-X/NVLink 交换机、存储、调度器等采集指标与日志,通过自动发现构建动态知识图谱,将基础设施与运行中的训练任务关联,并用监督与无监督机器学习识别“灰色故障”。平
llama.cpp 发布 b11899 版本,核心变更是为 mtmd(多模态)模块新增 mtmd helper get capabilities 接口,用于查询多模态能力,并补充 audio stream、audio gen spk ref、text gen 等能力标记,同时保留旧 API 以维持兼容。该版本同步提供 macOS/iOS、Linux、Andr
llama.cpp 发布 b11898 版本,主要修复了 ggml-cpu 中 ARM 架构下未使用变量的编译问题(#31180)。同时该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常
AtomicChat 在 Hugging Face 发布了 Meta Muse Glimmer 30B 的 GGUF 量化版本,基于原始 BF16 权重并采用校准的重要性矩阵与实测选定的位布局。该版本已合并进 llama.cpp master,可在单张 RTX 5090 上以 24.6 GB 显存运行完整多模态、工具调用与投机解码,生成速度提升 1.8 倍。
AtomicChat 在 Hugging Face 发布了 NVIDIA Nemotron 3.5 Bolt 74B-A9B 的 Atomic Dynamic GGUF 量化版本,基于 NVIDIA 原始 BF16 权重和自建重要性矩阵构建,采用标准 llama.cpp 量化类型。该版本提供从 Q8 0 到 IQ1 M S 共 13 个文件,其中 21.9
AtomicChat 在 Nanbeige 发布 Nanbeige4.3-33B 当天,基于其原始 BF16 权重制作并发布了 GGUF 量化版本,包含自研重要性矩阵的 Atomic Dynamic 系列(13.7GB 至 30.1GB)以及 llama.cpp 原生 Q8 0、Q5 K M。该模型为 33B 稠密 agent 与推理模型,Llama 架构、
Langfuse 发布 v4.70.1 版本,主要包含依赖升级(Node 升至 24.22.1)、从模型选择器中移除已退役的旧版 OpenAI 快照、移动端 Topics 功能优化、Web 端签名 URL 过期续期修复,以及 AI Gateway 遥测刷新关闭预算的修复。该版本为常规维护性更新,未涉及新功能发布。
InfoQ 发表文章,梳理 agentic harness(智能体执行框架)从 Chains、Graphs 到 Code 三种范式的演进。文章指出,Chains 是线性工作流,构建快但脆弱,上游单点失败会级联;Graphs 通过节点和边引入显式控制流,支持条件分支、并行、状态管理和多智能体编排;Code harness 把执行当作一等原语,借助沙箱和迭代精炼
llama.cpp 发布 b11897 版本,重构了 test-llama-archs 测试,使其不再链接内部 libllama 符号,从而修复了在 Windows 共享库(DLL)构建下无法编译的问题。改动包括在 llama-ext.h 中声明 llama arch 包装函数、将模型保存测试改用公开的 llama model save to file(),
面壁智能(OpenBMB)发布 MiniCPM-V 4.7 的 35B-A3B 版本,这是 MiniCPM-V 系列首个 MoE 多模态模型。该模型借助 Lookahead Expert Scheduling(LES)、细粒度分层量化和 DSpark 投机采样,成为首个可在端侧无损流畅运行的开源 MoE 模型,在 iPhone 17 Pro Max 上仅用