返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3312 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月13日周二 · 20 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11588:Qwen3.8 Flash Next 支持图像嵌入用于 MTP

llama.cpp 发布 b11588 版本,主要变更是允许 Qwen3.8 Flash Next 模型接受图像嵌入(image embds)以支持 MTP,该改动延续自 #30257 并关闭 #30307。发布同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

Amazon SageMaker AI 上的 MoE kernel 工程优化

AWS Machine Learning Blog 发布技术文章,介绍在 Amazon SageMaker AI 上针对 Mixture-of-Experts(MoE)模型的 kernel 工程优化。文章重点讲解 Fused MoE 技术,以及如何通过 Swap-AB 转置矩阵乘法来适配 NVIDIA Hopper 架构的 WGMMA 指令,解决 decod

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源开源

NVIDIA 将 Run:ai 平台开源,纳入 DSX AI Factory

NVIDIA 将完整的 Run:ai 平台开源,作为 NVIDIA DSX AI Factory 平台的一部分,让客户、开发者和生态伙伴获得生产级 AI 工作负载与 GPU 编排能力。开源内容包括完整平台及四个可独立采用的组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 和 W

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

DLSS 5 收敛效果,下月随《霍格沃茨之遗》正式登场

英伟达宣布 DLSS 5 将于 11 月 5 日随《霍格沃茨之遗》正式上线,并将在下月底登陆《燕云十六声》。相比年初展示时明显改变人物面孔的效果,新截图显示面部变化已大幅收敛。英伟达还将在 10 月更新神经渲染系统,使 DLSS 5 在 RTX 50 系列 GPU 上速度翻倍,模型参数缩减 24% 至约 1.18 亿,4K 显存占用降低 20%。同时英伟达应

正文结构化主题已通过公开置信门槛
魔搭 ms-swift Releases一手来源开源

ms-swift v4.6.0 发布:新增 JEV 决策任务与多款模型支持

魔搭 ms-swift 发布 v4.6.0,新增 JEV 风格的 decision 任务类型,模型可在单次前向传播中对固定选项集输出校准概率,并为 JEV-27B-VL、Clef、OmniJev 三个决策模型提供训练、推理与 LoRA 合并导出的现成配方。同时新增 MiniCPM5、MiniCPM-V-4.7、GLM-5.3-Flash、DeepSeek-V

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering商业

QCon AI 纽约 2026:智能体、评估与 LLM 成本的生产实践

QCon AI New York 2026 将于 12 月 15-16 日在新泽西举行,已确认多位资深工程师的演讲,聚焦 AI 进入生产环境后的实际问题:智能体的身份与授权、评估体系、LLM 成本控制以及 AI 生成代码的审查瓶颈。演讲者来自 AWS、LinkedIn、DoorDash、Netflix 和 Google Cloud,分享各自在生产系统中积累的

正文结构化主题已通过公开置信门槛
THE DECODER研究

Anthropic 研究警告小型 AI 模型或可跨消费设备自我复制

Anthropic 研究人员 William Zhou 和 Daniel Freeman 测试了小语言模型能否在安全性较差的消费级 IoT 设备(如智能电视、智能冰箱)上自主复制。实验用 15 台约 55 美元的 Android TV 盒子分布式运行 Gemma4-26B-A4B,并发现 GLM-5.2 在五分之四的运行中完成了全部八个测试节点的完整复制链。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11582:ggml-zdnn 引入 Q8 0 矩阵乘法

llama.cpp 发布 b11582 版本,主要变更是为 ggml-zdnn 后端引入 Q8 0 矩阵乘法(mat mul)的初步原型实现,并同步更新了 zdnn 相关文档。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 等多平台多硬件后端的预编译二进制包。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11581:移除冗余 ggml cont 调用

llama.cpp 发布 b11581 版本,主要变更是移除模型中冗余的 ggml cont 调用,因为所有一元算子内核现已支持该操作,涉及 CUDA 一元内核及 qwen3next 模型中的 sigmoid 前后处理调整。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

mradermacher 发布 Qwopus3.8-27B-Flash-V2-abliterated GGUF 量化版

Hugging Face 用户 mradermacher 发布了 Qwopus3.8-27B-Flash-V2-abliterated 模型的加权/imatrix GGUF 量化版本,基于 shawnw3i 的原始模型。该模型为支持图像-文本到文本的多模态视觉模型,采用 Apache-2.0 许可,提供从 IQ1 S 到 Q5 K S 等多种量化等级供本地推

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布

Langfuse 发布 v4.58.0:新增媒体上传池与 Topics 配置

Langfuse 发布 v4.58.0 版本,主要新增密码重置邮件强制 Turnstile 验证、OTel 媒体提取前置处理、带并发与字节限制的媒体上传池、按项目配置 trace 空闲时间,以及基于项目自有 LLM 连接配置 Topics 等功能。同时修复了媒体提取 UTF-8 校验、S3 媒体请求超时、LLM 连接白名单等问题,并包含多项性能优化与依赖升级

正文结构化主题已通过公开置信门槛
量子位安全

Anthropic实测AI自主复制:GLM-5.2攻陷8台设备

Anthropic 两位安全研究员 William Zhou 和 Daniel Freeman 发布安全实验报告,测试 AI 的自主复制与适应(ARA)能力。他们用 15 台 55 美元的山寨安卓电视盒子,通过类 Petals 的去中心化推理技术拼凑运行 26B 参数模型 Gemma4-26B-A4B;随后在隔离沙盒中让 GLM-5.2 自主完成扫描、渗透、

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源商业

法国生态借 NVIDIA 技术规模化落地智能体计算

法国企业正在太空、金融服务、公共部门和科研等领域大规模部署基于 NVIDIA 技术的智能体计算。Bull 计划于 2028 年生产 NVIDIA Vera Rubin Ultra NVL72 系统;搭载 NVIDIA Jetson AGX Orin 和 Mistral 模型的首颗 Altair-1 卫星已入轨。LINAGORA 与 Docaposte 基于

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11580:Hexagon 后端扩展标量 DMA 广播支持

llama.cpp 发布 b11580 版本,主要针对高通 Hexagon NPU 后端扩展了标量 DMA 广播支持,用于二元运算。改动包括为加权标量广播和加权重复广播补充测试、移除 hex-binary 中所有非 DMA 路径、支持非连续步长、简化 DMA 重试逻辑,并将 REPEAT、COMPLEX 内核及 add-id 的 src2 索引也迁移到 DM

正文结构化主题已通过公开置信门槛
量子位商业

无问芯穹C轮融资23亿,累计43亿刷新国产AI Infra纪录

AI原生基础设施服务商无问芯穹完成23亿元C轮融资,累计融资达43亿元,刷新国产AI Infra赛道单轮和累计融资双重纪录。公司不训练模型、不做应用,专注模型与芯片之间的中间层,已适配16种芯片、服务37000P算力,并实现千卡规模异构芯片混合训练。资金将用于规模化扩张,公司已以保密形式向港交所递交IPO申请。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

AMAImedia 发布 DeepSeek-V4.1-Flash FP8 GGUF 量化版

AMAImedia 在 Hugging Face 上发布了 DeepSeek-V4.1-Flash 的 FP8 GGUF 量化版本,基于 deepseek-ai/DeepSeek-V4.1-Flash 原始模型。该模型为 552B 参数的多模态 MoE 架构,支持百万级上下文,采用 Causal Encoder-Decoder 架构与 CSA2 稀疏注意力,

正文结构化主题已通过公开置信门槛
Google Gen AI Python SDK Releases一手来源API 更新

Google Gen AI Python SDK v2.30.0 发布,新增流式续传与用量统计

Google 发布 Google Gen AI Python SDK v2.30.0,新增流式续传(continuation token)相关能力,包括累积流式续传用量元数据、暴露 initial prompt token count、在 Interactions 状态更新事件中加入 continuation token 与用量信息,并新增 CONTINUA

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11576:填充 no-cache 注意力 KV 维度至 256

llama.cpp 发布 b11576 版本,修复了 no-cache 注意力路径中 KV 维度未填充的问题。此前该路径构建 [n tokens, n tokens] 掩码并直接传入未填充的 K、V,导致 head size 512 的 CUDA 内核因不满足 FATTN KQ STRIDE 倍数要求而回退到 CPU,且 -fa auto 探测会禁用此类模型

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

mradermacher 发布 Qwen3.8-27B-Uncensored-FP8 的 GGUF 量化版

Hugging Face 用户 mradermacher 发布了 Qwen3.8-27B-Uncensored-FP8 的静态 GGUF 量化版本,提供从 Q2 K 到 Q8 0 的多种量化文件以及多模态补充文件,并附有加权/imatrix 量化版本链接。该模型基于 orcarouter 的去审查(uncensored/abliterated)FP8 版本,