返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3312 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月14日周三 · 20 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

React Native ExecuTorch 发布 CLIP ViT 端侧多后端模型

Software Mansion 在 Hugging Face 发布了为 React Native ExecuTorch 库导出的 clip-vit-base-patch32 模型,提供 CoreML、MLX、Vulkan、XNNPACK 四种后端及 fp16/int8/fp32 多种精度版本,可直接在设备端运行。XNNPACK int8 量化版本在 Ima

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11612:为 Unigram 分词器新增可选 NFC 规范化

llama.cpp 发布 b11612 版本,主要变更为 Unigram 分词器新增可选的 NFC Unicode 规范化支持(PR #30390),并附带各平台预编译二进制包。该更新提升了多语言文本在 Unigram 分词下的规范化处理能力,属于推理框架的常规迭代。

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse v4.59.0 发布:新增审计日志与 Topics 追踪优化

Langfuse 发布 v4.59.0 版本,包含大量功能更新与修复。主要新增 Topics 追踪的过滤搜索、并发处理与批量嵌入,审计日志表及 ClickHouse 中继,会话视图默认启用重新设计版本,并优化了计费、监控、OTel 媒体上传等。这些改动提升了可观测性、性能与用户体验。

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

Google Antigravity SDK 新增本地模型支持,提升 token 效率与代码隐私

Google 在 Antigravity SDK 中新增本地模型支持,开发者可在本机运行智能体工作流,同时保留混合调用云端模型的能力,从而更好地控制数据隐私、推理成本和网络依赖。该 SDK 采用 Architect-Builder 模式:云端架构师负责规划,本地构建者执行代码修复、漏洞复现与回归测试等任务。演示中约 3400 个 token 仅 95 个用于

正文结构化主题已通过公开置信门槛
Mastra Releases一手来源产品发布

Mastra 发布 Factory 沙箱契约与多项可观测性更新

Mastra 发布更新,为 Factory 引入首个 FactorySandbox 沙箱提供方契约,并新增 Docker、E2B 和 Mastra Platform 三个实现,支持可调设置、仓库模板与预构建环境。同时新增环境预构建与多仓库会话能力,降低首次会话冷启动。多个存储适配器加入 run fencing 以提升分布式执行正确性,Observationa

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

爱诗科技香港办公室开幕,落地数码港共建AI枢纽

爱诗科技(AIsphere)于2026年10月13日在香港数码港正式开设办公室,定位为辐射本地企业、政府机构、高校及创作者的AI枢纽,并启动「数智香港·爱诗AI百业共创计划」。公司与其域创新、香港理工大学及多个青年社团签署战略合作,覆盖三维重建与AI视频生成、AI视频人文教学、AI科普与公益内容等方向。开幕现场展示了其通用实时世界模型PixVerse R2,

正文结构化主题已通过公开置信门槛
量子位产品发布

STEPX发布首款大模型原生智能体手机STEPX Neo

2026年10月13日,大模型原生AI终端品牌STEPX(阶跃终端)在上海发布首款大模型原生智能体手机STEPX Neo,搭载智能体原生操作系统Step AOS 1.0与个人智能体阶跃Amoo,并在京东、天猫、抖音等平台同步开售。该机采用端云协同模型矩阵,并推出AI终端原生开发工具Step Studio,支持MCP、A2A等协议。STEPX还与支付宝、腾讯、

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源商业

NVIDIA 加码英国:2.5亿美元算力投入与全栈应用落地

NVIDIA 宣布五年 2.5 亿美元算力投入,用于加强英国智能体安全与安保研究,并通过牛津大学 BOLD、UCL 与帝国理工的 SOFAIR 每年提供 5000 万美元加速计算资源。NVIDIA 同时成为 Earthshot Prize 全球联盟创始合作伙伴,将算力与技术专长带给气候与可持续发展创新者。文章还列举了英国能源、医疗、智慧城市、金融和量子领域企

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源产品发布

欧洲多城部署 NVIDIA 驱动的 AI 智能体提升城市运营

NVIDIA 发布博客介绍欧洲多座城市正采用其加速计算、Cosmos 与 Nemotron 开放模型以及 Metropolis VSS 蓝图,构建面向城市运营的物理 AI 智能体和数字孪生。法国 Côte-d'Or 省、意大利米兰地区、比利时安特卫普-布鲁日港、英国利物浦城市区域等地与 Akila、ThinkDeep、Galene.AI、K2K、Milest

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

晚期交互压缩的简单线性校正

该论文研究晚期交互(多向量)检索模型在文档向量压缩后检索质量下降的问题,提出一种轻量级全局线性校正方法:冻结编码器与压缩器,通过蒸馏未压缩模型的 MaxSim 分数分布学习校正矩阵,可在搜索时或离线应用于存储向量。在 ColBERTv2、Jina v4(MS MARCO、BEIR)和 ColPali2(ViDoRe v3)上评估,域内设置下 160 个 BE

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

LAWA:延迟感知的多智能体工作流优化框架

达特茅斯学院研究团队提出新问题「延迟感知工作流生成」,并发布 LAWA 框架,通过基于理论保证的图编辑操作优化多智能体工作流的关键路径瓶颈,在七个基准上显著降低执行时间(makespan)同时保持任务性能。该工作针对 AI 客服、云故障排查等重复查询场景,解决现有自动工作流生成方法只优化下游性能而忽略延迟的问题。代码已开源。

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

DoSA:点稀疏注意力,无损加速稀疏注意力索引器

论文提出 DoSA(Dots Sparse Attention),一种无损稀疏注意力方法,通过为每个 token 构造分数上界与 Top-k 阈值下界,在保留精确 token 选择的前提下跳过大量全头打分。该方法针对 DeepSeek 稀疏注意力(DSA)中带符号 ReLU 索引器的稠密打分瓶颈,利用非负头投影、联合残差界和激活感知聚合来收紧候选排除条件。在

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

PRIME:面向MoE压缩的频率感知统一剪枝与合并

该论文提出 PRIME,一个面向混合专家(MoE)模型的频率感知统一剪枝与合并压缩框架。PRIME 将离散的剪枝-合并分配问题建模为基于频率加权代理目标的全局整数线性规划(ILP),联合优化剪枝与合并决策,并通过误差界分析论证高频专家更适合作为聚类中心。在 Qwen3-30B-A3B 和 Qwen3.5-122B-A10B 上的实验表明,PRIME 在知识、

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

DoSA:点稀疏注意力,无损加速 Top-K 选择

该论文提出 DoSA(Dots Sparse Attention),一种无损稀疏注意力方法,通过分数上下界证书提前拒绝候选 token,仅对仍符合条件的候选进行完整打分,从而保持精确的 Top-K 选择。其 GPU 实现使完整 Indexer 相比 SGLang 提速最高 2.74 倍、相比 LiteTopK 提速 1.69 倍。在 GLM-5.2 和 De

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

腾讯WorkBuddy企业版上线可观测中心,破解规模化用Agent四大痛点

腾讯 WorkBuddy 企业版管理后台上线「可观测中心」,于10月13日开启公测,面向企业管理员提供 Agent 全链路数据采集、存储与分析能力。该中心包含实时观测、会话追踪、轨迹详情三大能力,针对企业规模化使用 Agent 的流量效果、成本效率、性能与质量四大痛点,帮助定位「钱花在哪、错出在哪、慢卡在哪」并反哺优化。此前 WorkBuddy 企业版已完成

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11609:修复 WebGPU mul mat id 重复专家 ID 问题

llama.cpp 发布 b11609 版本,主要修复了 WebGPU 后端在专家 ID 重复情况下 mul mat id 的 CI 问题。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源安全

llama.cpp b11608 修复 server 特殊 token 转义导致的栈溢出崩溃

llama.cpp 发布 b11608 版本,修复了 server 组件中特殊 token 转义的安全问题。此前 d1-omni 和 kev 提示词使用 std::regex replace 转义请求文本中的 " ",libstdc++ 会逐字符递归,当输入 "< " 加 30000 个字母时会撑爆 HTTP 线程栈,导致 llama-server 因 SI

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11607:聊天输出改为 parts 结构

llama.cpp 发布 b11607 版本,主要变更是将聊天(chat)模块的输出字符串替换为 parts 结构(PR #30389)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11606:简化 ggml 后端搜索路径错误处理

llama.cpp 发布 b11606 版本,主要变更是简化 ggml 后端的搜索路径错误处理(PR #28367),由 Adrien Gallouët 提交。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11604:KleidiAI 新增 SME2 Q4 K/Q6 K 矩阵乘法支持

llama.cpp 发布 b11604 版本,主要变更是为 KleidiAI 后端新增 SME2 指令集下的 Q4 K 和 Q6 K 矩阵乘法支持,由 Arm 的 Charles Xu 提交。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan