返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3290 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月9日周一 · 20 条
正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布5

Automattic 推出 Spacefast,支持部署 vibe coding 应用

WordPress.com 母公司 Automattic 推出名为 Spacefast 的新平台,为 vibe coding 生成的网站和应用提供数据库、认证、文件上传、邮件和分析等基础设施,用户可连接 ChatGPT、Claude、Cursor 等智能体或 Git 仓库部署项目。该产品由 Batuhan İçöz 主导,9 月已软启动,将与 Lovable

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源7

llama.cpp b12224:ggml-backend 跳过无读取输入的上传

llama.cpp 发布 b12224 版本,核心变更是 ggml-backend 不再上传没有任何算子读取的输入张量,以减少无效的数据传输开销。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布11

Qwen3-0.6B INT4 端侧版本发布,适配 LiteRT-LM

Hugging Face 社区用户 litert-community 发布了 Qwen3-0.6B 的 INT4 量化版本,采用 Google LiteRT-LM 的 .litertlm 格式,面向 Android、iOS、桌面和嵌入式设备端侧推理。该版本体积约 332MB(比 fp32 小约 7 倍),并提供开启和关闭思考模式的两个文件。在三星 Galax

正文结构化主题已通过公开置信门槛
THE DECODER产品发布5

Google 一年内推出四款 TPU 变体,加码与 Nvidia 竞争

Google 在第八代 AI 加速器阵容中新增 TPU 8tx 和 TPU 8i Max 两款系统,前者面向机密计算,可在处理过程中保持数据加密;后者通过单封装双芯片将同一机架内的算力、内存和内存带宽翻倍。两款产品均基于现有芯片,仅改变封装、网络和内存配置,使 Google 一年内首次交付四款 TPU 系统。Google 还开源 TorchTPU 并支持 v

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源6

llama.cpp b12223:为 Granite 架构接入 NVFP4 权重缩放

llama.cpp 发布 b12223 版本,主要变更为在所有 Granite 架构中通过 build ffn 传递 NVFP4 权重缩放(weight scales),使 Granite 系列模型支持 NVFP4 量化推理。该改动由 IBM 的 Gabe Goodhart 提交,并注明使用 Claude 辅助开发。发布同时提供 macOS、Linux、Wi

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源6

llama.cpp b12221:修复 Metal Flash Attention 输出缓冲区越界写入

llama.cpp 发布 b12221 版本,主要修复 Metal 后端中 Metal FA(Flash Attention)输出缓冲区越界写入的问题(PR #31662),由 Zhuomin Chen 共同提交。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL

正文结构化主题已通过公开置信门槛
Langfuse Releases一手来源产品发布10

Langfuse 发布 v4.77.0:AI Gateway 支持 Bedrock 与企业级存储

Langfuse 发布 v4.77.0 版本,包含 27 项功能更新与 18 项修复。主要新增 AI Gateway 对 Amazon Bedrock 上游的支持、OpenAI 与 Anthropic 连接的自定义 base URL 与额外请求头,以及外部媒体存储的企业级功能与 S3 IAM 角色认证。同时改进了 Topics 成本追踪、事件分发与审计日志等

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源6

llama.cpp b12220:修复 Metal 后端 ggml tri 的 NaN 问题

llama.cpp 发布 b12220 版本,主要修复 Metal 后端 ggml tri 内核的数值行为:原实现将 0/1 比较结果作为乘数,导致三角形外的 +-inf 变成 NaN,而 CPU 内核在该位置写入 0;新实现改为与 CPU 一致的 select 语义。同时新增 test tri special 测试,覆盖四种三角形类型并验证该修复。发布包覆

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源6

llama.cpp 发布 b12219:opencl 后端补充 climits 头文件

llama.cpp 发布构建版本 b12219,主要变更是 opencl 后端补充包含 climits 头文件(PR #31935)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO、OpenCL Adreno 及 Snapdragon NPU

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源6

MiniCPM-OCR 1.0 DSpark 草稿模型 GGUF 版发布

OpenBMB 在 Hugging Face 发布 MiniCPM-OCR-1.0-DSpark 的 GGUF 版本,这是 MiniCPM-OCR 1.0 的 DSpark 草稿头(draft head),用于投机解码加速,并非独立 OCR 模型,需与主模型 checkpoint 及主模型的 mmproj 投影器配合使用。仓库提供 F16 到 Q4 0 共

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering产品发布5

AWS 推出 TorchNeuron:无需改代码即可在 Trainium 上运行 PyTorch 模型

在 PyTorch Conference North America 2026 上,亚马逊发布原生 PyTorch 后端 TorchNeuron,开发者几乎无需修改代码即可在 AWS Trainium 芯片上运行现有 PyTorch 模型,通常只需将 .to('cuda') 改为 .to('neuron')。该后端原生支持 DDP、FSDP2、DTensor

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering观点1

播客:基于 llm-d、Wasm 与 TornadoVM 的 Kubernetes 分布式 LLM 推理

InfoQ 播客中,Red Hat 的 Edoardo Vacchi 介绍了 WebAssembly 在后端的发展、用 TornadoVM 在 GPU 上运行 Java 工作负载,以及基于 llm-d 和 vLLM 在 Kubernetes 上优化分布式 LLM 推理。llm-d 通过管理 KV 缓存与前缀缓存、请求路由和批推理来提升跨集群的 GPU 利用率

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业3

阿里云获中国专利金奖:破解AI超大规模算力调度难题

阿里云提交的专利“一种用户请求的处理方法和装置”在第二十六届中国专利奖评选中获中国专利金奖,是本届唯一获金奖的云厂商。该专利通过动态实时感知算力需求变化,实现超大规模智能算力的按需分配与多租户安全隔离,应对AI时代峰谷相差百倍的算力潮汐。阿里云已基于该技术推出灵骏真武超节点、Agent Sandbox等产品,MiniMax、月之暗面、阶跃星辰等客户已将其用于

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布10

MiniCPM-OCR 1.0 发布 GGUF 量化版

OpenBMB 在 Hugging Face 发布 MiniCPM-OCR 1.0 的 GGUF 量化版本,基于 MiniCPM-V-4.6 量化而来,面向 llama.cpp 本地推理。该 1.3B 模型可解析中英文文档与 PDF 中的文本、表格、公式、图表和印章,并提供从 F16 到 Q4 0 的多种量化档位及配套视觉投影器。模型采用两阶段流水线:SDK

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究2

百度文心披露RSI进展:ERNIE Evolve已用于文心5.5 Flash研发

百度文心首次披露其递归自我改进(RSI)系统 ERNIE Evolve 的进展,该系统能自主提出研究方向、开展实验并验证结果,在 NanoChat AutoResearch 和 NanoGPT Speedrun 两项任务上取得公开验证的 SOTA 表现。ERNIE Evolve 已用于即将发布的文心 5.5 Flash 推理优化,在昆仑芯 P800 低时延场

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源5

llama.cpp 发布 b12212:修复 ggml-zdnn 后端库检测

llama.cpp 发布构建版本 b12212,主要修复了 ggml-zdnn 后端发布二进制无法检测到后端库的问题(#31905),由 IBM 的 Aaron Teo 提交。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译包,涵盖 CUDA、Vulkan、ROCm、SYCL、Open

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布9

OpenBMB 发布 VoxCPM2 多语言 TTS 模型

OpenBMB 在 Hugging Face 发布 VoxCPM2,一个 2B 参数、无 tokenizer 的扩散自回归文本转语音模型,支持 30 种语言及多种中文方言,基于超 200 万小时多语种语音数据训练。模型支持语音设计、可控与高保真声音克隆、48kHz 输出和实时流式合成,采用 Apache-2.0 协议可商用。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布9

面壁智能发布VoxCPM1.5无分词器TTS模型

面壁智能(OpenBMB)于2025年12月5日发布VoxCPM1.5语音合成模型,基于MiniCPM4-0.5B骨干,采用无分词器(tokenizer-free)的扩散自回归架构直接生成连续语音表示。相比前代,音频采样率从16kHz提升至44.1kHz,语言模型token率降至6.25Hz以降低计算成本,并支持SFT与LoRA微调。模型支持上下文感知的富有

正文结构化主题已通过公开置信门槛
InfoQ AI ML and Data Engineering商业3

Pinterest 用 40 亿参数 Qwen3 模型替换旅程聚类系统

Pinterest 将用户旅程推断系统从多阶段聚类流水线替换为微调的 40 亿参数 Qwen3 模型,模型读取用户最多 150 条、跨 360 天的行为历史并生成排序后的旅程名称。该系统在美国和加拿大的 A/B 测试中带来邮件点击率提升 1.1%、推送打开率提升 1.3%,并取得统计显著的参与度和留存收益。工程上采用 NVIDIA Dynamo 配合 vLL

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布8

Unsloth 发布 FLUX 3 Image Klein Base 的 FP8/INT8 量化版

Unsloth 发布了 FLUX 3 Image Klein Base 的 FP8 与 INT8 量化版本,将图像 transformer 从 11.1 GB 压缩至 6.42 GB(FP8)或 5.81 GB(INT8),以降低显存占用。其中 INT8 权重直接采用 Black Forest Labs 官方的 int8 convrot 方案,FP8 版本由