llama.cpp b11755:修复 Metal 每 token 9 专家 MoE kernel
llama.cpp 发布 b11755 版本,主要修复 Metal 后端在每 token 9 个专家场景下缺失的 MoE kernel 变体(#30610、#30699)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次修复提升了
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3309 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11755 版本,主要修复 Metal 后端在每 token 9 个专家场景下缺失的 MoE kernel 变体(#30610、#30699)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次修复提升了
InfoQ 发布 Deepak Mohanakumar Chandramouli 的演讲记录,介绍如何用开源分布式计算框架 Ray 构建并规模化运行 AI Agent。演讲先回顾 Agent 的组成要素(LLM、工具、记忆、提示词)以及可观测性和安全护栏,再以旅行规划 Agent 为例,演示从本地开发到远程部署的完整生命周期,并分享生产环境经验。
美国国土安全部发布规定,禁止在联邦政府计算机系统中使用DeepSeek全系列产品,并要求民事部门IT系统删除相关产品及衍生成果。MiniMax发布M3.1 Flash模型,推理速度提升近3倍、API价格降低70%。字节Seed模型评测负责人黄文灏离职,DeepSeek梁文锋则通过投资加码具身智能方向。
Gartner发布2026年度《容器管理魔力象限》报告,阿里云连续4年入选并稳居领导者象限,是亚太地区唯一获此殊荣的科技公司。Gartner将丰富的AI集成、全面的功能覆盖和生产环境广泛使用列为阿里云核心优势。阿里云容器服务ACK围绕模型训练、推理和Agent运行持续升级,并发布智能体沙箱Agent Sandbox,已在月之暗面、MiniMax等客户的生产场
llama.cpp 发布 b11752 版本,主要修复测试中 MoE 路由器选择受后端噪声影响的问题:通过为每个专家填充步长为 2 的选择偏置斜坡,使 top-k 选择仅取决于专家索引,Beam 架构在 160 个种子下与 CPU 参考误差缩小至 4e-7。同时改进测试设备表,区分 Apple SoC 的 CPU 与 GPU 设备名。该版本同步提供 macO
是石科技在2026 CCF全国高性能计算学术大会期间发布TokenFleet分布式调度框架,聚焦请求路由、跨机房容量协同和混合负载治理,以提高集群有效Token产出。其TokenPilot技术结合缓存复用收益与排队代价选择实例,在GLM5.3调优数据中使P95首Token延迟降低32.4%、P50降低71.3%;SLOMax在收益测算示例中使达标输出吞吐提高
llama.cpp 发布 b11751 版本,主要更新 Hexagon 后端:将 Snapdragon 工具链升级至 v0.8,并启用 Hexagon v85 架构支持。改动包括 CI 与构建脚本同步升级、新增用于部分 IoT 设备的 swiv Python 脚本、修复 flake8 警告、更新版本上限,以及让构建和运行脚本支持通过 adb 传输的 Ubun
Aleph Alpha 发布开源 MoE 推理模型 Kolibri-1,总参数 78B、每 token 激活 3.46B,聚焦德语和英语,支持显式推理模式与工具调用,上下文长度达 1,048,576 tokens。模型采用 FP8 权重,最低可在 2×A100 80GB 或单张 H200/B200 上部署,以 Apache 2.0 许可开放权重。其设计目标是
llama.cpp 发布 b11750 版本,主要修复 SYCL 后端的编译器警告,包括缺失的函数原型、死代码和多余分号(PR #30271)。同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属
PydanticAI 发布 v1.107.8 版本,修复了一个中危安全漏洞(GHSA-xv4x-g8mx-ch56):当启用 OpenTelemetry 请求追踪时,即使设置 include content=False,provider 原生 MCP 配置仍可能泄露服务器 URL、授权令牌和自定义请求头值,基于 URL 的 MCP 能力也可能暴露 URL 标
Hugging Face 用户 aptech0081 发布了 MiniMax-H3 PDD 的 ComfyUI 转换版本,将阿里巴巴 PAI 的官方加速权重转换为 ComfyUI 可用的 LoRA 和预烘焙 Ref2VA 检查点。新增的 with-heads 检查点可在合并 PR #17157 的原生 ComfyUI 中直接加载,无需额外的 PDD 加速 L
论文提出 DuoLM 框架,将紧凑推荐模型与高效服务运行时结合:编码器 LLM 离线学习可复用的物品向量表示,个性化排序器 LLM 结合用户历史与反馈在线打分,并通过教师蒸馏端到端训练。运行时采用虚拟 token ID、共享历史计算与 CUDA Graph 重放等优化,在单张 H100 上每秒约 26,400 个候选打分,吞吐约等于使用 vLLM 与自动前缀
该论文提出 I2-Med 框架,用于提升医疗视觉语言模型的可解释性与可靠性。I2-Med 结合基于 GRPO 的结构化推理训练,以及无需额外训练的推理阶段视觉引导机制 MedCalib-IF:它利用 BiomedCLIP 评估候选词与医学图像的一致性,并动态校准 logits,从而抑制视觉幻觉。在 OmniMedVQA 基准(覆盖八种成像模态和五类临床问题)
该研究以 SegFormer-B5 人像分割模型为对象,探究层级视觉 Transformer 中的注意力头能否在深度方向上迁移。研究发现,部分任务相关注意力头可在相邻深度间迁移,但迁移效果高度依赖其计算路径,仅迁移注意力头参数不够,还需适配周边表示边界,并保留供体特有的归一化与空间降采样预处理。基于此,作者将 120 个 Stage-3 注意力头从 40 个
南卡罗来纳大学人工智能研究所与印度AI研究组织发表论文,在1000个算术表达式基准上对比七种功能调用架构:原生函数调用、REST、SOAP、MCP微服务、Groq云API与五个本地Ollama大模型直接作答、以及本地LLM调用MCP工具的智能体系统。结果显示确定性方法准确率100%且延迟可忽略,直接LLM作答最高准确率92.9%但延迟超22000倍,最佳MC
Hugging Face 用户 spiritfather 发布了 cyberneurova-Qwen3.8-Flash-Next 的 GGUF 量化版本,基于 Qwen/Qwen3.8-Flash-Next 量化而来,采用 imatrix 校准与 PLE 逐层专家混合精度方案。该版本面向 llama.cpp 运行,主打创意写作场景,并在 CaliperBen
中科通量在第六届RISC-V中国峰会上展示SmarCo AI工作站、智能视频编码一体机和智算加速卡,主题为全栈RISC-V智能覆盖视频与智算场景。公司称其团队有20余年视频智能技术积累,以数据流原生架构结合RISC-V开放生态为路径。此举意在RISC-V占据全球处理器市场25%份额的产业节点上,展示国产RISC-V在视频与智算高价值场景的落地能力。
llama.cpp 发布 b11748 版本,主要修复了 SYCL 后端在重排量化权重上 get rows 的问题(PR #30430)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于推理框架的常规缺陷修复与构建发布,对
Mistral AI 发布 Voxtral 3 语音模型家族及配套语音智能体 SDK,将语音转写、推理、工具调用与语音合成整合进单一实时流式管线。转写模型支持 50 多种语言并具备说话人分离与上下文偏置能力,TTS 模型支持 35 种以上语言和 50 种以上方言,可依据上下文调整情绪与语速。该产品可通过 Mistral 欧盟托管 API 或自部署方式使用,主
另有 1 家信源报道
llama.cpp 发布 b11747 版本,主要变更是 mtmd(多模态)模块对齐 transformers 的 Qwen-VL 图像缩放处理逻辑(PR #30736)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新提升了