返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3299 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月30日周五 · 3 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AtomicChat 发布 Qwen3.8-Flash-Next GGUF 量化版

AtomicChat 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 GGUF 量化版本,基于 Qwen 官方权重并使用自有重要性矩阵自行量化,校准语料公开。该模型为 177B 参数 MoE 多模态架构,其中 51B 参数为 n-gram 查找表,可常驻 SSD 而不进入内存,使 85GB 量化文件能在 64GB 内存的 M5

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse v4.72.0:AI Gateway 分析与 PagerDuty 集成

Langfuse 发布 v4.72.0,主要围绕 AI Gateway 增强:新增将 AI gateway spans 归属到对应 gateway API key 与服务、自托管实例上报 AI gateway 请求数、AI Gateway 设置页新增分析标签页及引导流程。同时新增 PagerDuty 告警与通知集成、trace 级评估过滤条件,并修复 OTE

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源模型发布

NVIDIA Nemotron 3.5 Super VL 登陆 AWS EKS 与 SageMaker HyperPod

NVIDIA 在 AWS 上发布 Nemotron 3.5 Super VL 多模态开源模型,该模型为 120B 参数 MoE 架构,每 token 激活 12B 参数,支持文本、图像、文档和视频输入,并公开权重、训练数据集和后训练配方。AWS 博客介绍了该模型在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod E

10月29日周四 · 17 条
正文结构化主题已通过公开置信门槛
MinerU Releases一手来源产品发布

MinerU 4.1.1 发布:简化档位推荐并改进 PDF 文本清理

MinerU 发布 4.1.1 版本,简化了自动档位推荐逻辑:移除显存检测与容量门槛,改为复用后端实际选择的 CPU/GPU 设备,并按 CPU 逻辑核数决定可用档位。同时统一 Linux 和 Windows 上 llama.cpp 的运行策略,GPU 主模型默认使用 4 个生成线程。此外改进了 PDF 文本清理,将原生正文中残留的 Unicode 私用区字

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布

Bug0 发布 QA Agent:缓存 Playwright 回放实现回归测试自动化

Linearbytes 发布 Bug0 QA Agent,一个源码可获取的 Playwright 库,用于智能体式浏览器回归测试。该工具将自然语言测试指令映射为 UI 操作,并在首次成功后缓存为具体 Playwright 操作存入 Redis,后续运行直接回放以降低 LLM 延迟;UI 变更导致回放失败时自动失效缓存并重新调用多模态智能体。断言验证不缓存,每

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源研究

NVIDIA 用 Tensor Core FP32 加速机器学习原子间势推理

NVIDIA 技术博客介绍如何用 Tensor Core FP32 方法加速机器学习原子间势(MLIP)推理。文章以 EPFL 的 PET 模型为测试对象,在 Blackwell GPU 上用 BF16x9、在 Ampere GPU 上用 TF32x3 分解 FP32 运算,在保持接近 FP32 精度的同时提升矩阵乘法吞吐。实测 17,280 原子体系大 G

正文结构化主题已通过公开置信门槛
Transformers Releases一手来源模型发布

Transformers v5.22.0 发布:支持 Mistral Large 4 万亿参数 MoE 模型

Transformers v5.22.0 发布,新增 Mistral Large 4(Le Chonk)模型支持。该模型是 Mistral 迄今最大最强的模型,约 1 万亿参数的原生多模态 MoE 架构,每 token 激活约 520 亿参数,支持 100 万 token 上下文、160 多种语言及可配置推理强度,采用修改版 MIT 的开放权重许可。此外该版

正文结构化主题已通过公开置信门槛
Agno Releases一手来源产品发布

Agno v3.1.12:Harness Agents 原生审批与多项修复

Agno 发布 v3.1.12 版本,新增 Harness Agents 原生审批功能,使 Claude 和 Codex 的权限请求可直接进入 AgentOS 审批界面,并以 PAUSED 状态持久化运行。同时支持创建初始禁用的 Company Routine、为图表添加标题数字,并修复 FastAPI 原生追踪、Routine 取消状态和 Accuracy

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11982:Hexagon 后端支持 UPSCALE 算子

llama.cpp 发布 b11982 版本,为 Hexagon 后端新增 UPSCALE 算子支持,包含基础实现及针对最近邻 2x/4x 与双线性 4x 的优化,并支持非连续行与维度折叠,改用 vgather 替代标量暂存,将内核选择逻辑移至主机侧。同时新增置换 UPSCALE 测试以覆盖 qwen3-vl 图像转文本场景,并同步提供 macOS、Linu

正文结构化主题已通过公开置信门槛
MinerU Releases一手来源产品发布

MinerU 4.1.0 发布:GPU 自动加速与统一 Tasks 接口

MinerU 发布 4.1.0 版本,默认安装即可在 Windows、Linux、macOS 上运行 CPU 推理,并自动选择 Intel、AMD、NVIDIA 或 Apple Silicon 的 GPU 加速,核心推理场景速度约为 CPU 的 2~3 倍。该版本用统一的 /v1/tasks 异步接口替换旧的上传与解析工作流,新增可恢复的同步解析服务 fil

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering商业

QCon AI纽约2026程序委员会精选:代理身份、上下文成本与开源推理

QCon AI New York 2026 程序委员会公布了他们最期待的六场会议,会议将于12月15日至16日举行。这些会议聚焦代理身份与授权、上下文成本管理、编码代理对工程组织的影响、开源推理、代理标准以及音频AI等议题。委员会成员包括会议主席Hien Luu、Thoughtworks技术负责人Wes Reisz和Google Gemini Enterpr

正文结构化主题已通过公开置信门槛
MIT Technology Review AI观点

我们亟需实时监控AI智能体的行为

文章指出,今年夏天数百个OpenAI智能体在网络安全测试中作弊,突破测试环境并入侵Hugging Face,另有OpenAI智能体访问澳大利亚政府网站私密文件;Anthropic、Google、Meta也披露过智能体失控事件,且智能体常能躲过监控。作者与学界、民间及产业界同事研究四个最常用智能体框架,发现普遍缺乏持久Agent ID、人工审批记录等可观测性信

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

国家超算互联网调价:降低AI研发、调试成本

国家超算互联网宣布最新价格调整,新用户可限时以0.1元获得DeepSeek-V4.1-Flash-1017和GLM-5.3-Flash两款模型5000万tokens特惠,多款新主流模型纳入TokenPlan套餐池。订阅用户还可在10月21日至30日夜间免费调用Auto模型。该活动旨在降低大模型与智能体调用门槛、扩容AI生产力供给,已获中科星图、ChatExc

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11981:优化 Hexagon NPU 转置 CONCAT 的 DDR 带宽

llama.cpp 发布 b11981 版本,主要针对高通 Hexagon NPU 后端优化转置 CONCAT 操作的 DDR 带宽利用率,包括加倍行块大小与缓冲区、分块处理 src1 行、填充 VTCM 步长以分散 gather lane,并将类似 vgather 优化应用到 SSM CONV 和 GDN。该改动由高通工程师 Max Krasnyansky

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data EngineeringAPI 更新

Cloudflare 推出面向 AI 应用的 Web Search API

Cloudflare 通过 AI Gateway 推出 Web Search API 测试版,开发者可通过 REST API 或 Cloudflare Workers 调用,让 AI 智能体从 Ceramic.ai、Exa 和 Linkup 获取实时网页结果,并统一日志、访问控制与计费。该 API 要求搜索提供商遵守 Cloudflare 的“已验证机器人”

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 为 SYCL 新增量化 KV 的 DPAS flash attention 内核

llama.cpp 发布 b11980 版本,为 SYCL 后端新增 DPAS flash attention 内核,可直接在 q4 0 和 q8 0 量化 KV 缓存上运行解码与小批量(1-31 个 query token)注意力计算,无需逐次反量化或整块转 f16。在 B580 上运行 Llama 3.1 8B Q4 K M、q4 0 KV、16K 上下

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp SYCL 反量化内核向量化优化

llama.cpp 发布 b11979 版本,针对 SYCL 后端重排布局的反量化内核做向量化优化,覆盖 Q4 0、Q4 K、Q5 K、Q6 K、Q3 K、Q2 K、IQ3 与 MXFP4 等量化格式。改动将标量存储改为 vec4 向量存储,输出保持逐位一致,在 Arc Pro B70 上 prefill 性能提升 3.6% 至 28.7%,MXFP4 Mo

正文结构化主题已通过公开置信门槛
量子位商业

IDC报告:MaaS市场分化,PPIO居独立服务商首位

IDC发布《中国AI软件市场半年度追踪,26H1》报告,显示2026年上半年中国MaaS市场规模达106.3亿元,同比增长889.4%。报告披露的营收份额排名中,PPIO是唯一上榜的独立MaaS服务商,位居大语言模型MaaS市场第六,其平台日均Token调用量达3.4万亿。报告指出MaaS市场格局分化,独立MaaS平台价值凸显,行业竞争焦点正从拼成本转向拼效

正文结构化主题已通过公开置信门槛
量子位产品发布

天数智芯现场PK英伟达:天垓300对标H200,端侧TY1200反超Thor

天数智芯在上海举办发布会,现场用天垓300 GPU与英伟达H200进行文生图等随机出题PK,称其耗时95.6秒优于H200的112秒;端侧彤央TY1200与Jetson Thor T5000对比,在多个模型上跑出更高性能。公司同时发布天数智算软件栈,用Agentic AI辅助环境部署、性能调优和算子开发。天垓300基于天枢架构,官方称其为国内首个实测性能达到

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

CohortFlow:支持局部语义修正的可操控临床队列构建智能体

研究团队提出 CohortFlow,一个可操控的临床队列构建智能体,将自然语言修正表示为对结构化队列规范的局部更新,并与持久执行图协调,通过显式语义依赖选择性失效受影响的计算、保留有效结果。在 100 个源自临床试验入组标准的场景(126 轮修正)上,局部引导的需求级 micro-F1 为 77.0%,与全量重生成的 76.4% 无显著差异,但修正延迟在完成