llama.cpp b11307:修复推测解码层输入批次顺序
llama.cpp 发布 b11307 版本,核心改动是修复推测解码(speculative decoding)中层输入(layer inputs)的批次顺序问题,保留原始批次顺序,并恢复未掩码 NextN 嵌入的 token 顺序。改动同时兼容 tensor split,并覆盖多种 KV 布局与 CUDA 设备的回归测试。该版本提供 macOS、Linux
公司与模型 · 英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力供给
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 07:16
llama.cpp 发布 b11307 版本,核心改动是修复推测解码(speculative decoding)中层输入(layer inputs)的批次顺序问题,保留原始批次顺序,并恢复未掩码 NextN 嵌入的 token 顺序。改动同时兼容 tensor split,并覆盖多种 KV 布局与 CUDA 设备的回归测试。该版本提供 macOS、Linux
llama.cpp 发布 b11306 版本,主要更新是 test-llama-archs 测试中切换 causal attn 标志以捕获图结构变化,用于检测依赖该标志的图形状在 GGML SCHED NO REALLOC 下导致的重新分配中止问题,编码类架构跳过该测试。同时提供 macOS、Linux、Windows、Android 等多平台多后端的预编译
llama.cpp 发布 b11304 版本,主要修复了训练过程中 KV 缓存的处理问题(PR #28520)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
llama.cpp 发布 b11303 版本,主要变更是将剩余示例迁移到 llama batch ext,并新增线程安全测试、移除 common batch staged。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11297 版本,主要更新为 jinja 模板引擎支持强制类型转换的数组属性(coerced array attributes),并补充了相应测试。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、O
llama.cpp 发布 b11295 版本,主要修复了 Models Backend 检查中的 CI 问题:通过缩短 hrm text fixture,将原本在 8 个缓存槽上循环两个块导致的 fp16 误差累积降到 1e-4 NMSE 阈值以下,从而解决 Vulkan T4 和 WebGPU 任务失败。该版本同时提供覆盖 macOS、Linux、Wind
面对2.8万亿参数开源模型Kimi K3的推理难题,海外TPU优化团队Inferact开源tpu-megakernels,用16颗谷歌TPU v7把整个K3装进一个kernel,配合DSpark投机解码,低并发Decode吞吐达709 tokens/s;浪潮信息发布元脑SD200 Ultra超节点AI服务器,紧耦合128芯本土AI芯片,单机承载K3,Toke
特朗普总统与谷歌、Anthropic、Meta、OpenAI、xAI、英伟达等科技公司领导人会面后,宣布了一项名为“前沿责任联合承诺”的AI安全计划。该承诺要求企业以“道德约束”方式自我监管AI技术,而非通过具有法律约束力的联邦法规。六位签署者(Sundar Pichai、Dario Amodei、Mark Zuckerberg、Greg Brockman、
Hugging Face Transformers 发布 5.18.0 版本,新增四个模型支持:NVIDIA 的 Nemotron 3 Diarization 流式说话人分离模型、NemotronH Omni 多模态推理模型、NAVER 的 HyperCLOVAX Vision V2 视觉语言模型,以及 GTE 文本表示与重排序模型。该版本还包含多项破坏性变
llama.cpp 发布 b11292 版本,主要修复 CPU 后端在 mul mat 中接受 BF16 作为 src1 的问题:此前 ggml conv 1d dw 在 BF16 卷积核下会构造 F32 im2col 并调用 ggml mul mat,导致 F32×BF16 组合被 CPU 后端拒绝并误报为所有后端不支持。该提交将 BF16 拓宽到 F32
llama.cpp 发布 b11279 版本,新增对 GLM-5.3-Flash(GLM5-Next)模型的支持,包含 MTP、多流、稀疏 FA 等优化,并修复了 k-pool 布局、状态回滚、GPU 图重分配等多个缺陷。该更新由社区贡献者提交,部分修复由 Claude Opus 5 和 Codex 辅助完成。
llama.cpp 发布 b11278 版本,主要变更是将内置的 BoringSSL 依赖更新至 0.20260929.0(PR #29669)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
特朗普与多位科技公司CEO在白宫签署了一份AI行为准则,但该文件仅具"道德约束力",没有法律效力。准则要求由独立第三方审计机构验证AI模型"按预期运行",并设立独立委员会监督防止AI模型入侵系统的内部安全检查。签署者包括Meta的扎克伯格、OpenAI的Greg Brockman、Nvidia的黄仁勋和Elon Musk。批评者认为没有立法的行为准则缺乏约束
另有 1 家信源报道
llama.cpp 发布 b11277 版本,主要更新为 ggml-zdnn 后端实现缓冲区重置并修复内存泄漏,同时包含代码风格修正。该版本照例提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
llama.cpp 发布 b11274 版本,主要变更是 ggml 在 get rows back 中增加行边界检查(由 Adrien Gallouët 提交,PR #29575)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO
llama.cpp 发布 b11272 版本,主要针对 Hexagon NPU 后端优化了 concat 算子,包括在 gather/transpose 热循环中减少数据包、直接写入目标缓冲区并使用专用指令同步,以及用 fastdiv 替换慢速除法、优化 DMA-HVX 流水线并新增 transpose 辅助函数。该版本同时提供覆盖 macOS、Linux、
llama.cpp 发布 b11270 版本,主要变更是 ggml-cuda 后端针对 HIP 平台优化了打包字节减法运算,将 vsubss4 替换为非饱和的 vsub4,并在 CI 中忽略 fattn vec 中一个溢出的 vgpr。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,覆盖 CUDA、ROCm、V
llama.cpp 发布 b11269 版本,主要变更为在 CI 中新增 zdnn 后端构建(仅构建、不测试),并修复 ggml-zdnn 的编译错误、尝试使用 Ubuntu 26.04 容器及忽略 vendored 文件的警告。该版本同时提供 macOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CUDA、Vulkan、RO
llama.cpp 发布 b11268 版本,主要修复了 OpenCL 后端中 q5 K 量化格式在 Adreno GPU 上 gemm nonshuffle 内核的 get tensor 问题。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、R
llama.cpp 发布 b11267 版本,主要更新为 Vulkan 后端调优 GDN kernel 并修复 Intel 平台性能问题。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,覆盖 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等多种后端。