返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3309 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月20日周二 · 20 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11755:修复 Metal 每 token 9 专家 MoE kernel

llama.cpp 发布 b11755 版本,主要修复 Metal 后端在每 token 9 个专家场景下缺失的 MoE kernel 变体(#30610、#30699)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次修复提升了

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering教程

用 Ray 规模化构建框架无关的 AI Agent 基础设施

InfoQ 发布 Deepak Mohanakumar Chandramouli 的演讲记录,介绍如何用开源分布式计算框架 Ray 构建并规模化运行 AI Agent。演讲先回顾 Agent 的组成要素(LLM、工具、记忆、提示词)以及可观测性和安全护栏,再以旅行规划 Agent 为例,演示从本地开发到远程部署的完整生命周期,并分享生产环境经验。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论政策

美国发布DeepSeek禁令;MiniMax M3.1 Flash上线

美国国土安全部发布规定,禁止在联邦政府计算机系统中使用DeepSeek全系列产品,并要求民事部门IT系统删除相关产品及衍生成果。MiniMax发布M3.1 Flash模型,推理速度提升近3倍、API价格降低70%。字节Seed模型评测负责人黄文灏离职,DeepSeek梁文锋则通过投资加码具身智能方向。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

阿里云连续4年入选Gartner容器管理领导者象限

Gartner发布2026年度《容器管理魔力象限》报告,阿里云连续4年入选并稳居领导者象限,是亚太地区唯一获此殊荣的科技公司。Gartner将丰富的AI集成、全面的功能覆盖和生产环境广泛使用列为阿里云核心优势。阿里云容器服务ACK围绕模型训练、推理和Agent运行持续升级,并发布智能体沙箱Agent Sandbox,已在月之暗面、MiniMax等客户的生产场

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11752:修复 MoE 路由测试后端噪声问题

llama.cpp 发布 b11752 版本,主要修复测试中 MoE 路由器选择受后端噪声影响的问题:通过为每个专家填充步长为 2 的选择偏置斜坡,使 top-k 选择仅取决于专家索引,Beam 架构在 160 个种子下与 CPU 参考误差缩小至 4e-7。同时改进测试设备表,区分 Apple SoC 的 CPU 与 GPU 设备名。该版本同步提供 macO

正文结构化主题已通过公开置信门槛
量子位产品发布

是石科技发布TokenFleet调度框架,首Token延迟降低32.4%

是石科技在2026 CCF全国高性能计算学术大会期间发布TokenFleet分布式调度框架,聚焦请求路由、跨机房容量协同和混合负载治理,以提高集群有效Token产出。其TokenPilot技术结合缓存复用收益与排队代价选择实例,在GLM5.3调优数据中使P95首Token延迟降低32.4%、P50降低71.3%;SLOMax在收益测算示例中使达标输出吞吐提高

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11751:Hexagon 工具链升级至 v0.8 并启用 v85

llama.cpp 发布 b11751 版本,主要更新 Hexagon 后端:将 Snapdragon 工具链升级至 v0.8,并启用 Hexagon v85 架构支持。改动包括 CI 与构建脚本同步升级、新增用于部分 IoT 设备的 swiv Python 脚本、修复 flake8 警告、更新版本上限,以及让构建和运行脚本支持通过 adb 传输的 Ubun

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Aleph Alpha 开源 78B MoE 推理模型 Kolibri-1

Aleph Alpha 发布开源 MoE 推理模型 Kolibri-1,总参数 78B、每 token 激活 3.46B,聚焦德语和英语,支持显式推理模式与工具调用,上下文长度达 1,048,576 tokens。模型采用 FP8 权重,最低可在 2×A100 80GB 或单张 H200/B200 上部署,以 Apache 2.0 许可开放权重。其设计目标是

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11750:修复 SYCL 编译警告并更新多平台构建

llama.cpp 发布 b11750 版本,主要修复 SYCL 后端的编译器警告,包括缺失的函数原型、死代码和多余分号(PR #30271)。同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源安全

PydanticAI v1.107.8 修复 MCP 遥测凭据泄露漏洞

PydanticAI 发布 v1.107.8 版本,修复了一个中危安全漏洞(GHSA-xv4x-g8mx-ch56):当启用 OpenTelemetry 请求追踪时,即使设置 include content=False,provider 原生 MCP 配置仍可能泄露服务器 URL、授权令牌和自定义请求头值,基于 URL 的 MCP 能力也可能暴露 URL 标

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

MiniMax-H3 PDD 加速权重推出 ComfyUI 原生版本

Hugging Face 用户 aptech0081 发布了 MiniMax-H3 PDD 的 ComfyUI 转换版本,将阿里巴巴 PAI 的官方加速权重转换为 ComfyUI 可用的 LoRA 和预烘焙 Ref2VA 检查点。新增的 with-heads 检查点可在合并 PR #17157 的原生 ComfyUI 中直接加载,无需额外的 PDD 加速 L

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

DuoLM:基于语言模型的高效个性化推荐框架

论文提出 DuoLM 框架,将紧凑推荐模型与高效服务运行时结合:编码器 LLM 离线学习可复用的物品向量表示,个性化排序器 LLM 结合用户历史与反馈在线打分,并通过教师蒸馏端到端训练。运行时采用虚拟 token ID、共享历史计算与 CUDA Graph 重放等优化,在单张 H100 上每秒约 26,400 个候选打分,吞吐约等于使用 vLLM 与自动前缀

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

I2-Med:视觉引导动态Logits校准的可解释医疗推理

该论文提出 I2-Med 框架,用于提升医疗视觉语言模型的可解释性与可靠性。I2-Med 结合基于 GRPO 的结构化推理训练,以及无需额外训练的推理阶段视觉引导机制 MedCalib-IF:它利用 BiomedCLIP 评估候选词与医学图像的一致性,并动态校准 logits,从而抑制视觉幻觉。在 OmniMedVQA 基准(覆盖八种成像模态和五类临床问题)

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

路径条件注意力迁移:SegFormer 从深度到执行枢纽

该研究以 SegFormer-B5 人像分割模型为对象,探究层级视觉 Transformer 中的注意力头能否在深度方向上迁移。研究发现,部分任务相关注意力头可在相邻深度间迁移,但迁移效果高度依赖其计算路径,仅迁移注意力头参数不够,还需适配周边表示边界,并保留供体特有的归一化与空间降采样预处理。基于此,作者将 120 个 Stage-3 注意力头从 40 个

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

少做多得:智能体计算与替代架构选择的第一性原理探索

南卡罗来纳大学人工智能研究所与印度AI研究组织发表论文,在1000个算术表达式基准上对比七种功能调用架构:原生函数调用、REST、SOAP、MCP微服务、Groq云API与五个本地Ollama大模型直接作答、以及本地LLM调用MCP工具的智能体系统。结果显示确定性方法准确率100%且延迟可忽略,直接LLM作答最高准确率92.9%但延迟超22000倍,最佳MC

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

spiritfather 发布 Qwen3.8-Flash-Next 的 GGUF 量化版本

Hugging Face 用户 spiritfather 发布了 cyberneurova-Qwen3.8-Flash-Next 的 GGUF 量化版本,基于 Qwen/Qwen3.8-Flash-Next 量化而来,采用 imatrix 校准与 PLE 逐层专家混合精度方案。该版本面向 llama.cpp 运行,主打创意写作场景,并在 CaliperBen

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

中科通量亮相RISC-V中国峰会,展示全栈RISC-V视频与智算产品

中科通量在第六届RISC-V中国峰会上展示SmarCo AI工作站、智能视频编码一体机和智算加速卡,主题为全栈RISC-V智能覆盖视频与智算场景。公司称其团队有20余年视频智能技术积累,以数据流原生架构结合RISC-V开放生态为路径。此举意在RISC-V占据全球处理器市场25%份额的产业节点上,展示国产RISC-V在视频与智算高价值场景的落地能力。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11748:修复 SYCL 重排量化权重 get rows

llama.cpp 发布 b11748 版本,主要修复了 SYCL 后端在重排量化权重上 get rows 的问题(PR #30430)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于推理框架的常规缺陷修复与构建发布,对

正文结构化主题已通过公开置信门槛
Mistral AI News一手来源模型发布

Mistral 发布 Voxtral 3 语音模型与智能体 SDK

Mistral AI 发布 Voxtral 3 语音模型家族及配套语音智能体 SDK,将语音转写、推理、工具调用与语音合成整合进单一实时流式管线。转写模型支持 50 多种语言并具备说话人分离与上下文偏置能力,TTS 模型支持 35 种以上语言和 50 种以上方言,可依据上下文调整情绪与语速。该产品可通过 Mistral 欧盟托管 API 或自部署方式使用,主

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11747:mtmd 对齐 transformers 的 Qwen-VL 缩放

llama.cpp 发布 b11747 版本,主要变更是 mtmd(多模态)模块对齐 transformers 的 Qwen-VL 图像缩放处理逻辑(PR #30736)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新提升了