英特尔实现Muse Glimmer在Intel平台上的Day-0支持
英特尔宣布其Muse Glimmer模型在Intel GPU和Xeon CPU上通过上游vLLM和Hugging Face Transformers实现Day-0支持,覆盖从工作站到云实例的广泛硬件。该支持得益于英特尔的“Upstream First”承诺、对开源社区的持续贡献以及与Meta的紧密合作。用户可通过vLLM的HTTP服务器(兼容OpenAI A
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3341 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
英特尔宣布其Muse Glimmer模型在Intel GPU和Xeon CPU上通过上游vLLM和Hugging Face Transformers实现Day-0支持,覆盖从工作站到云实例的广泛硬件。该支持得益于英特尔的“Upstream First”承诺、对开源社区的持续贡献以及与Meta的紧密合作。用户可通过vLLM的HTTP服务器(兼容OpenAI A
VIDRAFT 推出了 AX-Ray,一个用于 AI 和 AX 部署的安全诊断层,基于 FINAL-Bench Diagnostics 构建。AX-Ray 在公开诊断中识别出 Zyphra/Zamba2-1.2B 和 nvidia/Nemotron-H-8B-Base-8K 两个模型存在因果泄漏缺陷,即前缀行为依赖未来 token,属于结构性正确性失败。该缺
Ollama 发布了 v0.32.11 版本,主要新增了 Muse Code 和 DeepSeek Harness 的集成,并匹配了 Muse Glimmer 的推理模板。这些更新旨在增强对相关模型和工具的支持。
Anthropic 宣布未来 Claude 模型将内置文本水印,以符合欧盟 AI 法案要求。该水印基于 Google DeepMind 的 SynthID-Text 方法,通过改变模型选择词语时的随机性来源来嵌入模式,不影响输出质量、可读性或成本,且不携带个人或组织信息。Anthropic 表示,水印对读者不可见,但可通过密钥检测文本是否由 Claude 生
另有 2 家信源报道
ReRound 是一种无需校准的后训练量化方法,通过条件扩散模型生成低比特权重的连续重建,以解决标准舍入到最近方案在量化区间中点附近的歧义问题。该方法利用容差度量选择候选量化矩阵,并通过匹配前导奇异值确定最优容差,在 3-bit 和 4-bit 权重量化中优于标准 RTN,且不增加推理开销。ReRound 对小规模 LLM 特别有效,其性能优于多种免校准方法
llama.cpp 发布 b10423 版本,主要更新为在所有工具中应用 CPU 参数(PR #27026)。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件,支持 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台构建(如 KleidiAI、ROCm 7.14
llama.cpp 发布 b10419 版本,主要针对 OpenVINO 后端进行了多项优化和修复。新增了对 Qwen3.5、GPT-OSS MoE 和 MXFP4 的支持,并修复了 NEOX RoPE 在 GPU 状态模式下的精度问题。此外,通过引入 GGML OPENVINO RELEASE WEIGHTS 选项和流式权重重量化,显著降低了 GPU 推理
llama.cpp 发布 b10418 版本,主要更新是支持 SYCL 主机固定内存以提升主机到设备的访问性能,并修复了线程安全问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,涵盖 CPU、Vulkan、CUDA、SYCL、OpenVINO 等后端。
llama.cpp 发布 b10415 版本,主要更新为自动检测 MTP 草稿模型类型(PR #27005)。该版本提供了适用于 macOS、Linux、Windows、Android 和 iOS 的多种预编译二进制文件,涵盖 CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL 等后端。部分平台构建(如 macOS KleidiAI、Ubu
OpenAI 推出了名为 Ultrafast 的新模式,使最新模型 GPT-5.6 Sol 的处理速度提升至标准处理的 14 倍,每秒可生成多达 750 个输出 token。该模式由 OpenAI 与芯片制造商 Cerebras 合作提供支持,目前仅向少数客户开放预览,未来将扩大访问范围。OpenAI 表示,Ultrafast 可应用于事件响应、客户服务、金
另有 1 家信源报道
bartowski 发布了 Muse-Glimmer-30B 模型的 GGUF 量化版本,该模型由 meta-models 开发,支持文本和图像输入,并具备 MTP 和 imatrix 功能。量化版本使用 llama.cpp 生成,提供从 bf16 到 IQ3 XXS 的多种量化格式,以适应不同硬件和性能需求。推荐用户选择 Q4 K M 版本作为性能与大小的
Latent Dynamics Reasoning (LDR) 将运动学动力学集成到结构化潜在空间中,使视频世界模型能够远超训练分布地外推物理规律,同时参数减少26倍、推理速度快143倍。在PhyWorld基准的五个任务上,LDR的分布内外误差差距比视频扩散基线小20倍以上,并能泛化到严重分布偏移场景。这是首个能外推学习动力学至训练分布之外的视频世界模型。
llama.cpp 发布 b10414 版本,为 Metal 后端新增 TQ2 0 类型支持,该类型为三元 2 比特每元素,并优化了 mul mv 内核。同时提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。
llama.cpp 发布 b10413 版本,主要更新为自动检测草稿模型的 spec 类型。当使用 -md 加载本地草稿模型且未指定 --spec-type 时,系统会从 GGUF 元数据中读取架构信息,自动识别 draft-dspark 或 draft-dflash 类型,从而启用投机解码。该功能已移至 speculative 模块,并增加了日志输出。
llama.cpp 发布 b10412 版本,主要更新是启用了 dflash 和 dspark 的后端采样功能,并增加了 p min 0 的采样支持。该版本提供了多平台预编译二进制文件,包括 macOS、Linux、Windows、Android 等,但部分构建(如 KleidiAI、ROCm)被禁用。
llama.cpp 发布 b10411 版本,主要更新为在 ggml-cpu/ops 中向量化 flash-attention V-cache 的 F16 到 F32 转换,以提升性能。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,并支持多种后端如 Vulkan、CUDA、ROCm 等。部分平台构建
Anthropic 报告其 Claude Mythos 5、Claude Fable 5 和 Claude Sonnet 5 模型出现错误率升高的问题,影响范围包括 claude.ai、Claude API、Claude Code 和 Claude Cowork。目前该问题已解决。
AWS 发布了 AgentCore Observability 的跨平台监控方案,支持通过 ADOT 自动埋点将非 AWS 环境(如本地、GCP、Azure)中运行的 AI 代理的遥测数据发送到 Amazon CloudWatch 和 AgentCore Observability 仪表板。该方案利用 IAM 认证和 OTLP 端点,实现代理推理链、工具调用
llama.cpp 发布 b10410 版本,主要更新为在 SYCL 后端的非 oneDNN 路径中移除单独的 FP32 类型提升,改用自动 FP16 提升。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,并支持多种后端如 Vulkan、CUDA、ROCm、OpenVINO 等。
llama.cpp 发布 b10408 版本,主要新增了 SYCL 后端下的 DMMV Q3 K ESIMD 内核,并重构了 ESIMD 内核以共享代码,默认启用 ESIMD(若可用)。该版本提供了适用于 macOS、Linux、Windows、Android 等平台的多种二进制包,但部分构建(如 macOS KleidiAI、ROCm 等)被禁用。