返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3292 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月6日周五 · 9 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12129:AMD 驱动重新启用大型 coopmat matmul

llama.cpp 发布 b12129 版本,主要变更是重新启用 AMD 专有驱动 26.10.1 及以上版本上的大型 coopmat matmul 配置(PR #31587)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包,包含 CUDA、Vulkan、ROCm、SYCL、Ope

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

DeepBeepMeep 发布 Wan2.1 单文件模型,适配 WanGP 低显存视频生成

DeepBeepMeep 在 Hugging Face 上发布了 Wan2.1 视频生成模型的单文件版本,基于 Wan-AI/Wan2.1-T2V-1.3B,用于配合其开源项目 WanGP 使用。WanGP 支持 Wan、Hunyuan Video、Flux 1 & 2、Qwen、Z-Image 和 LTV 等视频生成模型,主打低显存需求(最低 6GB 即可

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse 发布 v4.76.0:新增会话视图与 Topics API

Langfuse 发布 v4.76.0 版本,新增按时间排序的会话列表视图、在 trace 预览中增加会话标签页,并将 Topics 摘要、分配与规则接入公共 API、MCP 和应用内 agent。该版本还让自托管 Docker Compose 内置 AI Gateway,并加入审计日志读取事件记录、提示词解析性能优化及多项修复。这些更新提升了 Langfu

正文结构化主题已通过公开置信门槛
智东西产品发布

英特尔进博会展示18A制程芯片与绿色算力方案

英特尔在第九届进博会上联合生态伙伴展示覆盖数据中心、网络边缘及智能终端的计算产品,包括基于Intel 18A制程的第三代酷睿Ultra、至强6+处理器、词元一体机及绿电储能算力一体化方案。英特尔中国区董事长王稚聪表示将深化与中国产业伙伴协作,推动智能体时代绿色算力落地。此举意在强化端边云协同布局并降低企业AI部署门槛。

正文结构化主题已通过公开置信门槛
THE DECODER开源

百度开源 2800 亿参数 ERNIE 5.5 Flash Base 基础模型

百度发布开源基础模型 ERNIE-5.5-Flash-Base,采用混合专家架构,总参数 2800 亿、每输入激活 140 亿,预训练使用 33.5 万亿 token,训练上下文最高 128K,微调与推理时可支持最高 100 万 token 上下文。该模型刻意不做微调或后训练,由开发者自行决定后续方向,后训练版本后续推出。百度称其在推理、代码和长上下文基准上

正文结构化主题已通过公开置信门槛
阿里 FunASR Releases一手来源开源

阿里 FunASR 发布 v1.4.22,修复批处理解码与 CMVN 解析

阿里 FunASR 发布 v1.4.22 版本,主要修复运行时问题:ContextualParaformer 和 SeacoParaformer 的批处理解码、ONNX 与 Torch 热词批处理修复(分别发布 0.4.7 和 0.1.5)、generate() 的 merge length s 参数处理、VAD 离线动态静音调度按帧应用,以及 CMVN 文

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源模型发布

Gemini Omni 1.2 Flash 发布:支持15秒视频并降价30%

Google DeepMind 发布 Gemini Omni 1.2 Flash,并在 Gemini API 和 Gemini for business 中全面开放。新版本支持原生 15 秒视频生成、多轮对话式编辑和更强的参考一致性,720p 视频价格较 1.1 版下降 30% 至每秒 0.07 美元。该模型面向企业、开发者和创作者的大规模视频生产,输出带

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源教程

NVIDIA 协同设计五招提升 AI 工厂每字节价值

NVIDIA 在技术博客中介绍其 AI 工厂的协同设计方法,通过 NVFP4 低精度格式、宽专家并行(Wide-EP)、KV 缓存复用与 Dynamo 分布式服务等手段,提升每字节内存的有效利用率。文章称在 SemiAnalysis AgentX 基准上,Vera Rubin NVL72 在每用户 160 tokens/s 下每兆瓦吞吐量可达 GB300 N

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data EngineeringAPI 更新

Google Cloud API Gateway 推出流式支持,面向实时与 AI 应用

Google Cloud 宣布 API Gateway 的流式支持进入公开预览,将传统请求-响应模型扩展至实时通信场景,尤其面向流式模型响应、多步 Agent 工作流和交互式会话等 AI 应用。新功能让流式端点可在保留 API Key 校验、JWT 验证、日志监控等既有网关策略的同时运行,并引入可预测的网关主机名格式。API Gateway 还支持模型路由,

11月5日周四 · 11 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12128:修复 TOPK MOE 测试 CI 抖动

llama.cpp 发布 b12128 版本,主要修复 TOPK MOE 测试因路由边界近似并列导致的 CI 不稳定问题。修复方式改为通过反演门控函数构造 logits,使各后端上的专家与分组决策间隔一个网格步长,避免浮点 ulp 差异引发误判。同时该版本提供 macOS、Linux、Windows、Android 等多平台预编译包,覆盖 CUDA、Vulk

正文结构化主题已通过公开置信门槛
THE DECODER商业

苹果削减内部 AI 预算,计划进一步下调

据彭博社报道,苹果上月将部分工程师的每日 AI token 预算从 300 美元下调至 200 美元,并计划进一步削减至每天 100 美元,部分非技术团队甚至低至 25 美元。员工可使用 Anthropic Claude、OpenAI ChatGPT 和 Google Gemini 等服务,部分团队将转向更便宜的模型或本地运行的 AI。此举符合新任 CEO

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Box 集成 Nvidia Nemotron 推出代理优先内容检索系统

Box 在其开发者大会上发布 Box Content Retrieval 功能,将 Nvidia 的 Nemotron 嵌入系统集成到产品核心,让 AI 代理基于嵌入元数据更高效地回答查询。Nvidia 生成式 AI 软件副总裁 Kari Briski 称查询速度可提升 4 倍、错误减少 20%、token 用量减少 90%。该功能将于明年初向 Box En

正文结构化主题已通过公开置信门槛
量子位开源

百度开源文心5.5 Flash Base,同尺寸基准刷新SOTA

百度于11月5日正式开源基座模型文心5.5 Flash Base(ERNIE 5.5 Flash Base),采用MoE架构,总参数2800亿、每Token激活140亿,预训练使用33.5万亿Token,支持最长100万Token上下文。该模型在知识、推理、数学、代码、多语言和长上下文等基准上取得同尺寸模型SOTA,超过DeepSeek-V4-Flash-B

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12124:OpenCL 支持非连续 sigmoid

llama.cpp 发布 b12124 版本,主要变更是为 OpenCL 后端增加对非连续(non-contig)sigmoid 的支持(PR #31687,由高通 Li He 参与贡献)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、Op

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12123:OpenCL 新增 DSV4 HC PRE/POST 支持

llama.cpp 发布 b12123 版本,主要变更为 OpenCL 后端新增 DSV4 HC PRE 与 DSV4 HC POST 支持,并改进 dsv4 hc post 实现,由高通(Qualcomm)工程师参与贡献。该版本同时提供 macOS、Linux、Windows、Android 等多平台多后端(CUDA、Vulkan、ROCm、SYCL、Op

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b12122:CUDA 融合 NVFP4 gate/up 与 GLU

llama.cpp 发布 b12122 版本,核心变更是 CUDA 后端在 MMQ 中融合 NVFP4 的 gate/up 矩阵乘法与 GLU 激活,并遵循请求的 src1 精度、共享 NVFP4 scale 检查、跳过未使用的融合 FP4 kernel。同时补充了 W4A8 无 scale 及带 batch 的 NVFP4 融合 MMQ 测试。该版本同步提

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Gemma 4 12B 推出 LiteRT-LM 量化版,支持端侧多模态部署

Hugging Face 的 litert-community 发布了 Gemma 4 12B 的 LiteRT-LM 量化版本,基于 google/gemma-4-12B-it 转换而来,支持 macOS、Linux、Windows 及有限度的 Web 部署。该 .litertlm 文件支持文本、视觉和音频多模态输入,并具备多 Token 预测(MTP)以

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Gemma 4 26B A4B 推出 LiteRT-LM 量化版

Hugging Face 上发布了 litert-community/gemma-4-26B-A4B-it-litert-lm,这是 Google Gemma 4 26B(A4B)混合专家模型的 LiteRT-LM 量化版本,采用 QAT 的 blockwise int4 权重与 float 激活,面向 Web 和桌面端本地部署。该版本目前仅支持文本,音频、

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

上海交大邓志杰:扩散语言模型如何又快又好

上海交通大学副教授邓志杰在CNCC 2026上系统梳理了扩散语言模型在保证生成质量的同时提升生成速度的方法,涵盖LLaDA、Dream等基础路线,以及跨块并行生成(D2F、MultiBD)、后训练(CForce、LightningRL)和推理系统优化(Fast-dLLM、LoPA)。他提出应结合每轮提交token数(TPF)与每轮耗时(TPS)及正确率来评价

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Drama-3 语音模型 GGUF V2 量化版发布

Hugging Face 用户 Jmica 发布了 Drama-3-GGUF 仓库的 V2 版本,将 Fish Audio 的 drama-3 文本转语音模型(含 MoE 架构与声音克隆能力)量化为 6 种 GGUF 精度配置,供 audio.cpp 的 fish drama3 原生后端运行。V2 基于 2026 年 10 月 29 日的替换检查点,保留完整