llama.cpp 发布 b12255:修复 plamo2 循环缓存张量重命名
llama.cpp 发布构建版本 b12255,主要变更是修复 plamo2 模型中循环缓存张量被重命名的问题(#31984)。该版本同时提供 macOS/iOS、Linux(含 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端)、Android、Windows 及 UI 等多平台预编译包。
公司与模型 · 英伟达的 AI 芯片与生态动态:GPU 新品、CUDA 生态、机器人平台与 AI 算力供给
关联由结构化实体与正文位置共同判定 · 最近刷新 2026-11-11 06:27
llama.cpp 发布构建版本 b12255,主要变更是修复 plamo2 模型中循环缓存张量被重命名的问题(#31984)。该版本同时提供 macOS/iOS、Linux(含 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端)、Android、Windows 及 UI 等多平台预编译包。
llama.cpp 发布 b12253 版本,修复了 common 模块中工具调用参数字符串的控制字符转义问题。此前 normalize quotes to json 在将 Python 风格工具参数转换为 JSON 时会原样保留原始控制字符,导致返回给客户端的 arguments 成为非法 JSON,历史回放会直接失败;现在通过 escape json s
llama.cpp 发布 b12248 版本,主要修复 Vulkan 后端 GROUP NORM 计算的工作组划分问题:将工作组划分为二维,以规避 maxComputeWorkGroupCount 限制,并改用已有宏实现。该版本同时提供 macOS、Linux、Windows、Android 等多平台、多后端(CUDA、Vulkan、ROCm、SYCL、Op
Google 发布第八代 TPU 的两款新变体 TPU 8tx 和 TPU 8i Max,分别面向机密推理和更大内存容量的大规模工作负载。TPU 8tx 与 AMD 合作设计,将安全能力内置于硬件层,并支持在训练同时进行推理以在线蒸馏小模型;TPU 8i Max 则将两颗推理芯片整合进单一封装,使内存、算力和带宽翻倍。此举旨在降低 Google 云业务对外部
llama.cpp 发布 b12247 版本,主要修复 Vulkan 后端在 MoltenVK 上的越界读写问题,通过为 norm f32、l2 norm f32 和 sum rows f32 的管线设置 disable robustness,解决 test-backend-ops 的 sentinel 不匹配错误。该版本同时提供 macOS、Linux、W
Hugging Face 首席政策官 Irene Solaiman 警告,开放平台因开放性和丰富数据而成为攻击目标,近期 OpenCode 的 API 密钥攻击、OpenAI 智能体集群入侵 Hugging Face、Fireworks 客户数据泄露等事件凸显风险。她担心开源社区可能因此收紧准入,Hugging Face 正加强监控并更频繁轮换管理令牌。Gi
llama.cpp 发布 b12244 版本,主要更新 CI 中的 oneAPI 2026.2、oneDNN 2026.1 和 Level Zero SDK 1.34.0。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CUDA、Vulkan、ROCm、SYCL、Open
llama.cpp 发布构建版本 b12243,主要变更是为 SYCL 后端在 head dim=64 时解除对 Intel Alchemist 显卡上 oneDNN 融合 SDPA 的限制。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CUDA、ROCm、Vulka
ManniX-ITA 在 Hugging Face 发布 opencoti-llamafile,这是基于 Mozilla-Ocho llamafile 的单文件推理引擎,并集成了 opencoti 补丁系列。它新增了 PolyKV/KVarN 的 KV 驻留与量化、KV 滚动窗口、弹性多会话服务、DCA 长上下文扩展、MTP 投机解码、稀疏注意力、RYS 层
llama.cpp 发布构建版本 b12242,主要变更是 chat 模块在设置了 response format 且同时使用 tools 时不再使用 lazy grammar(PR #31956)。该版本同时提供 macOS/iOS、Linux(含 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端)、Android、Windows 及
llama.cpp 发布构建版本 b12241,主要修复了 Hexagon 后端在关闭时 64 位 FastRPC 句柄被截断的问题(PR #30952)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 及 Snapdragon Hexago
llama.cpp 发布构建版本 b12239,主要变更是服务端在实时 API 中改用 common chat input。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于开源推理框架的常规迭代,对使用 llama.cpp
llama.cpp 发布 b12236 版本,核心变更为 mtmd 模块新增 mtmd helper resampler 辅助函数,并同步更新文档、补充测试,同时引入 MA MAX FILTER ORDER 常量。该版本照例提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多后端预编译二进制包,涉及 CUDA
Ollama 发布 v0.40.16 版本,包含多项更新:OpenAI 兼容接口支持在响应请求中转发截断选项,未安装模型时 /v1/models 返回空数组;llama.cpp 升级至 b12177;Windows 平台新增 CUDA 13.5 与 ARM64 的 SM 103 支持;MLX 优化 Qwen3.8 Flash Next 的内存效率并新增 ri
llama.cpp 发布构建版本 b12230,主要变更是 ggml-zdnn 后端现在接受非 zdnn 张量,并在每次算子执行后使计算张量失效(由 IBM 的 Aaron Teo 提交,PR #31824)。该版本同时提供覆盖 macOS/iOS、Linux(含 s390x zDNN、CUDA、ROCm、Vulkan、SYCL、OpenVINO)、Andr
腾讯首席AI科学家姚顺雨警告AI将很快具备开发生物武器的能力,认为完全开源或完全闭源都无法单独解决该问题,主张开源与闭源混合以兼顾防御用途。他以Hugging Face安全事件为例说明闭源模型的安全过滤可能阻碍防御性分析,而开源模型可被用于日志取证。文章同时讨论了开源模型安全过滤易被"消融"技术移除、闭源模型过滤过度激进的问题,并提及中美均未设定开源模型发布
llama.cpp 发布 b12224 版本,核心变更是 ggml-backend 不再上传没有任何算子读取的输入张量,以减少无效的数据传输开销。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
Hugging Face 发布 LeRobot v0.7.0,支持直接从 Hub、Storage Bucket 或 LanceDB 流式训练近 300TB 开放机器人数据,无需先下载。新版本重建训练栈以支持 5-20B 参数的世界动作模型,并引入交互式 rollout,可在机器人运行时通过文本指令切换子任务、提问或自动导航。同时集成 NVIDIA、Black
llama.cpp 发布 b12221 版本,主要修复 Metal 后端中 Metal FA(Flash Attention)输出缓冲区越界写入的问题(PR #31662),由 Zhuomin Chen 共同提交。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL
llama.cpp 发布 b12220 版本,主要修复 Metal 后端 ggml tri 内核的数值行为:原实现将 0/1 比较结果作为乘数,导致三角形外的 +-inf 变成 NaN,而 CPU 内核在该位置写入 0;新实现改为与 CPU 一致的 select 语义。同时新增 test tri special 测试,覆盖四种三角形类型并验证该修复。发布包覆