返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3341 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月14日周五 · 18 条
正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源产品发布

英特尔实现Muse Glimmer在Intel平台上的Day-0支持

英特尔宣布其Muse Glimmer模型在Intel GPU和Xeon CPU上通过上游vLLM和Hugging Face Transformers实现Day-0支持,覆盖从工作站到云实例的广泛硬件。该支持得益于英特尔的“Upstream First”承诺、对开源社区的持续贡献以及与Meta的紧密合作。用户可通过vLLM的HTTP服务器(兼容OpenAI A

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

AX-Ray 诊断工具揭示两个公开模型的因果泄漏缺陷

VIDRAFT 推出了 AX-Ray,一个用于 AI 和 AX 部署的安全诊断层,基于 FINAL-Bench Diagnostics 构建。AX-Ray 在公开诊断中识别出 Zyphra/Zamba2-1.2B 和 nvidia/Nemotron-H-8B-Base-8K 两个模型存在因果泄漏缺陷,即前缀行为依赖未来 token,属于结构性正确性失败。该缺

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Anthropic Newsroom一手来源研究

Anthropic 详解 Claude 文本水印技术:符合欧盟 AI 法案,不影响输出质量

Anthropic 宣布未来 Claude 模型将内置文本水印,以符合欧盟 AI 法案要求。该水印基于 Google DeepMind 的 SynthID-Text 方法,通过改变模型选择词语时的随机性来源来嵌入模式,不影响输出质量、可读性或成本,且不携带个人或组织信息。Anthropic 表示,水印对读者不可见,但可通过密钥检测文本是否由 Claude 生

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

ReRound:利用重建舍入解决免校准 LLM 量化中的中点歧义

ReRound 是一种无需校准的后训练量化方法,通过条件扩散模型生成低比特权重的连续重建,以解决标准舍入到最近方案在量化区间中点附近的歧义问题。该方法利用容差度量选择候选量化矩阵,并通过匹配前导奇异值确定最优容差,在 3-bit 和 4-bit 权重量化中优于标准 RTN,且不增加推理开销。ReRound 对小规模 LLM 特别有效,其性能优于多种免校准方法

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10423 发布:统一 CPU 参数应用

llama.cpp 发布 b10423 版本,主要更新为在所有工具中应用 CPU 参数(PR #27026)。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件,支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台构建(如 KleidiAI、ROCm 7.14

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10419:OpenVINO 后端优化与 Qwen3.5 支持

llama.cpp 发布 b10419 版本,主要针对 OpenVINO 后端进行了多项优化和修复。新增了对 Qwen3.5、GPT-OSS MoE 和 MXFP4 的支持,并修复了 NEOX RoPE 在 GPU 状态模式下的精度问题。此外,通过引入 GGML OPENVINO RELEASE WEIGHTS 选项和流式权重重量化,显著降低了 GPU 推理

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10418 发布:支持 SYCL 主机固定内存提升性能

llama.cpp 发布 b10418 版本,主要更新是支持 SYCL 主机固定内存以提升主机到设备的访问性能,并修复了线程安全问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,涵盖 CPU、Vulkan、CUDA、SYCL、OpenVINO 等后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10415 发布:自动检测 MTP 草稿模型类型

llama.cpp 发布 b10415 版本,主要更新为自动检测 MTP 草稿模型类型(PR #27005)。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件,涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台构建(如 macOS KleidiAI、Ubu

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

OpenAI 推出 Ultrafast 模式,GPT-5.6 Sol 速度提升 14 倍

OpenAI 推出了名为 Ultrafast 的新模式,使最新模型 GPT-5.6 Sol 的处理速度提升至标准处理的 14 倍,每秒可生成多达 750 个输出 token。该模式由 OpenAI 与芯片制造商 Cerebras 合作提供支持,目前仅向少数客户开放预览,未来将扩大访问范围。OpenAI 表示,Ultrafast 可应用于事件响应、客户服务、金

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

bartowski 发布 Muse-Glimmer-30B 多模态模型 GGUF 量化版

bartowski 发布了 Muse-Glimmer-30B 模型的 GGUF 量化版本,该模型由 meta-models 开发,支持文本和图像输入,并具备 MTP 和 imatrix 功能。量化版本使用 llama.cpp 生成,提供从 bf16 到 IQ3 XXS 的多种量化格式,以适应不同硬件和性能需求。推荐用户选择 Q4 K M 版本作为性能与大小的

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

潜在动力学推理实现视频世界模型的外推泛化

Latent Dynamics Reasoning (LDR) 将运动学动力学集成到结构化潜在空间中,使视频世界模型能够远超训练分布地外推物理规律,同时参数减少26倍、推理速度快143倍。在PhyWorld基准的五个任务上,LDR的分布内外误差差距比视频扩散基线小20倍以上,并能泛化到严重分布偏移场景。这是首个能外推学习动力学至训练分布之外的视频世界模型。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10414 发布:Metal 后端支持 TQ2 0 类型

llama.cpp 发布 b10414 版本,为 Metal 后端新增 TQ2 0 类型支持,该类型为三元 2 比特每元素,并优化了 mul mv 内核。同时提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10413 发布:自动检测草稿模型 spec 类型

llama.cpp 发布 b10413 版本,主要更新为自动检测草稿模型的 spec 类型。当使用 -md 加载本地草稿模型且未指定 --spec-type 时,系统会从 GGUF 元数据中读取架构信息,自动识别 draft-dspark 或 draft-dflash 类型,从而启用投机解码。该功能已移至 speculative 模块,并增加了日志输出。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10412 发布:支持 dflash/dspark 后端采样

llama.cpp 发布 b10412 版本,主要更新是启用了 dflash 和 dspark 的后端采样功能,并增加了 p min 0 的采样支持。该版本提供了多平台预编译二进制文件,包括 macOS、Linux、Windows、Android 等,但部分构建(如 KleidiAI、ROCm)被禁用。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10411 发布:优化 flash-attention V-cache 转换

llama.cpp 发布 b10411 版本,主要更新为在 ggml-cpu/ops 中向量化 flash-attention V-cache 的 F16 到 F32 转换,以提升性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,并支持多种后端如 Vulkan、CUDA、ROCm 等。部分平台构建

正文结构化主题已通过公开置信门槛
Anthropic Status History一手来源产品发布

Anthropic 修复 Claude 5 系列模型错误率升高问题

Anthropic 报告其 Claude Mythos 5、Claude Fable 5 和 Claude Sonnet 5 模型出现错误率升高的问题,影响范围包括 claude.ai、Claude API、Claude Code 和 Claude Cowork。目前该问题已解决。

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 推出 AgentCore Observability 跨平台 AI 代理监控方案

AWS 发布了 AgentCore Observability 的跨平台监控方案,支持通过 ADOT 自动埋点将非 AWS 环境(如本地、GCP、Azure)中运行的 AI 代理的遥测数据发送到 Amazon CloudWatch 和 AgentCore Observability 仪表板。该方案利用 IAM 认证和 OTLP 端点,实现代理推理链、工具调用

8月13日周四 · 2 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10410 发布:SYCL 后端 FP16 自动提升优化

llama.cpp 发布 b10410 版本,主要更新为在 SYCL 后端的非 oneDNN 路径中移除单独的 FP32 类型提升,改用自动 FP16 提升。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,并支持多种后端如 Vulkan、CUDA、ROCm、OpenVINO 等。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10408 发布:新增 SYCL ESIMD Q3 K 内核

llama.cpp 发布 b10408 版本,主要新增了 SYCL 后端下的 DMMV Q3 K ESIMD 内核,并重构了 ESIMD 内核以共享代码,默认启用 ESIMD(若可用)。该版本提供了适用于 macOS、Linux、Windows、Android 等平台的多种二进制包,但部分构建(如 macOS KleidiAI、ROCm 等)被禁用。