llama.cpp b11702:为 Adreno X1 新增 MxFP4 MoE 内核
llama.cpp 发布 b11702 版本,主要变更为在 OpenCL 后端为 Adreno X1 设备新增 MxFP4 MoE 二值化 GEMM 内核 gemm moe mxfp4 q8 1 dp4a ila ldck,并为 X1E 启用 dp4a CLC。该改动由高通工程师提交,旨在提升骁龙 X 系列平台上的 MoE 模型推理效率。版本同时提供 mac
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3311 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11702 版本,主要变更为在 OpenCL 后端为 Adreno X1 设备新增 MxFP4 MoE 二值化 GEMM 内核 gemm moe mxfp4 q8 1 dp4a ila ldck,并为 X1E 启用 dp4a CLC。该改动由高通工程师提交,旨在提升骁龙 X 系列平台上的 MoE 模型推理效率。版本同时提供 mac
llama.cpp 发布 b11701 版本,主要变更是为模型新增 Beam(Reflection)支持(PR #30670)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
AWS 的销售、营销与全球服务(SMGS)运营团队构建了一个服务全球 AWS 现场销售的多智能体系统,包含 Performance Insights、Customer Insights 和 Data Insights 等子智能体,用于以自然语言回答业务问题。团队发现传统监控无法发现智能体「流畅但错误」的回答,例如把 410.08 美元误报为 4.1008 亿
llama.cpp 发布 b11700 版本,主要新增对 IBM Granite Switch 决策模型(decision model)的转换与推理支持,并允许该模型同时进行聊天与决策。相关改动由 IBM 的 Gabe Goodhart 提交,期间部分 chat+decision 支持被回滚,最终简化为 Granite Switch 支持决策时也始终支持文本
llama.cpp 发布 b11699 版本,主要修复了 common http client() 忽略标准代理环境变量的问题,使 -hf 等下载功能在 HTTP 代理环境下不再静默失败。新版本支持 HTTPS PROXY/HTTP PROXY、NO PROXY,并对格式错误的代理 URL 发出警告,同时强制对 localhost、127.0.0.0/8、:
理想汽车旗下芯片子公司上海马赫心科技签署首轮股权融资协议,融资金额16.25亿元,由杭州经韬、蓝驰创投及华业天成领投,奇绩创坛参与投资,若追加认购权悉数行使,投后估值达171亿元。理想汽车仍持股74.01%保持控股。新融资将支持其芯片研发与商业化,并拓展非汽车领域。理想自研马赫M100芯片为全球首款动态数据流AI芯片,采用5nm车规级工艺,单颗算力1280T
联想YOGA Pro 15 RTX Spark超级AIPC于10月16日全渠道开售,售价29999元起,是全球首批搭载NVIDIA RTX Spark N1X超级芯片的本地智能体AIPC。该机集成6144核Blackwell RTX GPU与20核Grace CPU,可释放1 Petaflop FP4本地AI算力,支持至高128GB统一内存,能跑通超千亿参数
NVIDIA 发布 RTX Spark,一款面向 AI 开发的笔记本和紧凑台式机产品线,搭载 GB10 系统级芯片、Grace CPU 与 Blackwell GPU,最高 128GB 统一内存和 1 petaflop FP4 AI 算力,让开发者可在单机上完成编码、测试和部署。NVIDIA 同时宣布与微软合作推进 Windows on Arm 开发者生态,
Hugging Face 用户 IsValorum 发布了 Qwen3.8-27B-EfficientThink 模型的 VAL-APEX-I MiniPlus V3 GGUF 量化版本,文件大小 13.91 GB,整文件 BPW 为 4.14,WikiText-2 困惑度为 5.5923。该版本声称修复了旧版存在的循环状态不稳定、上下文退化和语言混用问题,
LangGraph 发布 langgraph-cli 0.4.36 版本,包含三项变更:版本发布提交、修复 CLI 接受 serverless 与 dedicated 部署别名的问题,以及修复 langgraph deploy 中传递当前激活 Docker 上下文的问题。该更新主要面向使用 LangGraph CLI 进行部署的开发者,提升部署命令的兼容性与
帕洛阿尔托AI初创公司Elorian发布首个模型Glimpse,该模型以研究预览形式推出,提供API访问,聊天界面仅限候补名单。Glimpse的核心思路是让模型在推理过程中反复回到图像源,通过裁剪、抽帧或运行代码来测量和比较视觉内容,Elorian称之为“视觉暂存空间”。公司称该模型用几百块GPU训练,规模远小于前沿系统,在科学图表推理和短视频描述任务上表现
Vercel 数据显示,Typesafe AI 于 9 月 15 日限量发布的轻量决策模型 Jev 在两周内被 35% 的付费团队采用,成为 Vercel 平台上采用最快的 AI 模型,采用率接近第二名 Sonnet 5.5 的两倍。Jev 通过限制输出选项实现更低成本、更快速度,适合大规模数据分类,其思路已引发 OpenAI、亚马逊等推出竞品。数据还显示开
Reflection AI 发布开源权重模型 Beam,面向智能体编程和长周期任务,支持代码维护、工具调用和多步工作流。Beam 为稀疏混合专家模型,总参数 5010 亿、激活参数 230 亿,有效上下文长度 100 万 token,以 Apache 2.0 许可在 Hugging Face 发布 BF16、FP8、NVFP4 检查点。AWS 博客介绍了在
The Verge 三位作者用一周时间测试了搭载英伟达 RTX Spark N1X 处理器的五款高端笔记本,包括微软 Surface Laptop Ultra、华硕 ProArt P16、联想 Yoga 9n 和惠普 OmniBook Ultra。这些 Arm 架构笔记本配备 20 核 CPU 与 6144 CUDA 核心,售价从 3199.99 美元到 6
Langfuse 发布 v4.63.0 版本,主要更新包括:AI Gateway 支持将无前缀的 codex- 模型路由至 OpenAI 连接、按来源归因错误并测量网关开销、服务端校验连接名称;Skills 功能以公开 v4 预览形式开放并新增使用指标标签页;应用内助手支持向用户发起简短问卷。此外还修复了依赖安全补丁、MCP 超时分类、计费统计等问题。
NVIDIA 在 Hugging Face 上发布了 Nemotron 3.5 Bolt 74B-A9B 的 BF16 全精度版本,这是一款面向本地智能体任务的视觉语言模型,采用 Mamba-2 与 Transformer 混合的 LatentMoE 架构,配备 C-RADIO v4-H 视觉编码器,支持最高 256K 上下文及文本、图像、视频输入。该版本主
Hugging Face 上发布了 frontier-infra/jebadiah-9b-v2-GGUF,这是 Jebadiah 9B v2 决策模型的 GGUF 量化版本,支持 llama.cpp、Ollama 和 LM Studio。该模型不是聊天模型,而是对类型化问题(choice、noul、score)通过一次前向传播输出每个选项的概率。仓库提供了
Unsloth 发布了 MiniMax-H3 的 GGUF 量化版本,支持本地运行,兼容 stablediffusion.cpp 和 Unsloth 平台。该模型能生成带原生立体声音频的视频,最长 15 秒、24 FPS、32 kHz 音频。提供两种去噪器变体(fl2va 和 ref2va)及多种量化等级,并附有使用示例和许可证说明。
Grafana Labs 提出将站点可靠性工程中的 SLO 与错误预算方法应用于 AI Agent 行为评估,把幻觉、任务完成度、毒性、成本等行为转化为可测量的 SLI 与 SLO 目标。该方法强调质量是多维的,应分别度量而非合并为单一分数,并通过错误预算消耗来发现 Agent 质量的渐进式漂移。文章同时指出,SLO 的有效性取决于底层评估的准确性,仍需代表
llama.cpp 发布 b11695 版本,主要变更为 Mellum2.1 模型增加 MTP(多 token 预测)支持,并在 Mellum 中改为内联 rope 构造。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。