返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3314 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月23日周三 · 2 条
正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

零令牌置信度:读取模型内部状态,0.06秒零令牌完成验证

VIDRAFT 发布零令牌置信度(ZTC)方法,通过读取模型内部隐藏状态而非生成令牌来评估答案可信度,单次前向传播即可输出校准概率,已在 Hugging Face 上线。在 2,018 项共享基准上,ZTC·Darwin-397B 以 0.7394 AUC 登顶,而模型自报置信度仅 0.5000(等同随机猜测)。在 539 项留出集上,读取内部状态比直接询问

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

Anthropic 发布 Opus 5.5:降价且性能达 Fable 级

Anthropic 于周二发布新模型 Opus 5.5,公司称其在编程和知识工作性能上创下新纪录,并在多项基准上超过更大的 Fable 模型。该模型输出 token 价格从每百万 25 美元降至 20 美元,运行更快、所需算力更低,同时调整了沟通风格,减少术语并前置关键信息。这是 Anthropic CEO Dario Amodei 主张放缓前沿能力推进节奏

9月22日周二 · 18 条
正文结构化主题已通过公开置信门槛
量子位商业

Agent时代CPU价值重估:英特尔称CPU与GPU配比趋近1:1

英特尔在苏州技术创新与产业生态大会上提出,Agent时代AI计算配比正从CPU与GPU的1:4趋近1:1,CPU需承担更多调度、数据处理与任务编排工作。英特尔介绍了至强处理器的数据预处理加速、KV Cache无损压缩与存储优化方案,并强调与Linux、PyTorch等开源项目及国内软件伙伴的合作。大会还提及端侧CPU、GPU、NPU协同及家庭AI、车载AI、

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

用并发扫描为 SageMaker AI 生成式端点做容量规划

AWS 博客介绍在 Amazon SageMaker AI 上通过并发扫描(concurrency sweep)为生成式 AI 端点做容量规划的方法。文章以部署 NVIDIA Nemotron-3 Nano 30B(MoE,仅 3B 激活参数)到 ml.g7e.2xlarge 为例,使用原生 vLLM 容器和 CreateAIBenchmarkJob API

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11104:llama-server 支持绑定多个地址

llama.cpp 发布 b11104 版本,主要更新为 llama-server 新增绑定多个地址的能力(PR #28690),并处理了地址重叠、多 TCP 地址下拒绝 --port 0 等边界情况。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CPU、CUDA、Vu

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Synthyra 发布 ESM2-35M 蛋白质语言模型

Synthyra 在 Hugging Face 上发布了 ESM2-35M 模型,将 facebook/esm2 t12 35M UR50D 检查点与 FastPLMs 运行时打包,用于蛋白质语言建模。该模型支持序列与残基分类、数据集嵌入、PEFT/LoRA 微调以及测试时训练(TTT),并可通过 trust remote code 在 Transforme

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11103:为 HunyuanOCR 增加 DFlash 投机解码支持

llama.cpp 发布 b11103 版本,为 HunyuanOCR 目标模型增加 DFlash 投机解码支持,在 Hunyuan 图构建中注册层输入张量,修复了此前因张量为空导致的断言中止问题。同时修复了针对 HunYuan 目标转换 DFlash 草稿模型时的词表处理错误,包括缺失的 fix special tokens 方法和配置读取错误。测试显示图

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

TBC 联手 AWS 推「神经元衍生」视频模型,号称快 5 倍省 80%

旧金山初创公司 The Biological Computing Co.(TBC)宣布与 AWS 合作,推出号称首个「神经元衍生」的文本到视频模型,声称比基础开源模型快 5 倍、推理成本低 80%。其做法并非用生物神经元计算,而是先在 4096 电极芯片上培养皮层神经细胞、测量信号扩散与衰减规律,再将其转化为不到基础模型 0.1% 大小的软件适配器,插入现有

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源产品发布

NVIDIA 发布 DLSS 5 与 ACE、RTX Kit 更新

NVIDIA 发布 DLSS 5,引入 3D-Guided Neural Rendering,以游戏引擎渲染帧为基础,在保留场景结构与艺术意图的前提下增强光照与材质细节,并已在 NBA 2K27 中上线。同时更新 NVIDIA ACE,推出 Nemotron Speech 3.5 Streaming 与 Qwen3 TTS 等模型,并升级 NVIGI SDK

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11101:支持重复 find package 调用

llama.cpp 发布 b11101 版本,主要变更是允许对 llama 进行重复的 find package 调用(#29228)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源教程

NVIDIA 为 ROS 2 贡献 CUDA buffer 后端并演示 AI 代理迁移节点

NVIDIA 在 ROS 2 Lyrical 中贡献了 CUDA buffer 后端,配合上游 rosidl::Buffer 抽象,让 ROS 2 节点在满足同主机、同 CUDA 设备、同 Linux 用户及受支持 RMW 实现等条件时,可通过零拷贝传输交换 GPU 常驻数据,否则自动回退到 CPU 路径。NVIDIA Isaac ROS 5.0 的所有节点

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

阿里PAI发布MiniMax-H3视频ControlNet-Union模型

阿里 PAI 团队在 Hugging Face 发布 MiniMax-H3-Fun-Controlnet-Union,这是一个基于 VideoX-Fun 流程训练的 ControlNet-Union 模型,可为 MiniMax-H3 视频生成器提供 Canny、Depth、HED、MLSD、Pose 五种控制条件以及视频修复能力。该模型仅包含约 6.8GB

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

阿里云发布AgentCore等新品,加速构建Agentic Cloud

在2026杭州云栖大会上,阿里云CTO李飞飞系统阐述了Agentic Cloud战略,将Model、Harness、Context作为核心构建场景,并发布企业级Agent构建治理平台AgentCore、Agent Sandbox、新一代高性能存储CPFS等新品。阿里云重构了从AI Native Cloud、Agent Native Cloud到Context

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11100:修复 Muse Glimmer 工具调用解析错误

llama.cpp 发布 b11100 版本,主要修复了 chat 模块中 Muse Glimmer 工具调用(tool-call)首次解析错误的问题,并新增测试验证、精简匹配模式。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYC

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11099 发布:Snapdragon NPU 构建进入正式发布

llama.cpp 发布 b11099 版本,主要变更是在 release 工作流中同时构建 Snapdragon 目标,使 Hexagon NPU 二进制文件首次随正式发布页提供。此前 Snapdragon CI 构建仅用于 QDC 设备测试,NPU 二进制从未进入发布页。该版本同时提供 macOS、Linux、Android、Windows 等多平台预编

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

对话 COBRA-Skills 一作:50 样本重构 Agent 技能降本路线

香港中文大学(深圳)、天津大学、香港科技大学(广州)和新加坡国立大学的研究团队提出 COBRA-Skills,将 Agent 技能优化建模为带预算控制的情境多臂老虎机问题,用轻量 MLP 预测收益加 LinearUCB 量化探索来筛选候选技能,再由进化算子按对数调度生成与精炼技能。该方法仅用 50 个优化样本,在 6 个跨领域 Benchmark 上全面超越

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

2026中国民营企业500强发布:华为腾讯研发投入居前二

全国工商联9月22日发布2026中国民营企业500强榜单及调研分析报告,京东、阿里、恒力、华为、比亚迪、腾讯位列前六,入围门槛255.99亿元。研发投入方面华为、腾讯排名前二,500强研发费用总额1.26万亿元,腾讯2025年研发投入857.5亿元、资本开支792亿元均创新高,并持续加码AI基础设施以支持混元模型升级及WorkBuddy、CodeBuddy推

正文结构化主题已通过公开置信门槛
Meituan Technical Team一手来源研究

美团统一推荐基座大模型 MTFM 在外卖多业务落地实践

美团技术团队提出统一推荐基座大模型 MTFM,在 MTGR 基础上首次实现外卖多个主要业务的统一精排模型,通过异构 Tokenizer、动态掩码、混合注意力与 Target Scale-Up 等设计解决规模可扩展性、场景可延展性与架构高效性三大挑战。该模型在美团外卖多个业务全量落地,订单量提升 2.06% 6.68%,推理成本降低 24%,相关工作被 KDD

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11097:OpenCL 新增 A8 Q4 0 非 MoE dp4a 内核

llama.cpp 发布 b11097 版本,主要变更为在 OpenCL 后端新增 A8 Q4 0 非 MoE 的 dp4a 二值化内核(PR #29055)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO