llama.cpp 发布 b11606:简化 ggml 后端搜索路径错误处理
llama.cpp 发布 b11606 版本,主要变更是简化 ggml 后端的搜索路径错误处理(PR #28367),由 Adrien Gallouët 提交。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2113 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11606 版本,主要变更是简化 ggml 后端的搜索路径错误处理(PR #28367),由 Adrien Gallouët 提交。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11604 版本,主要变更是为 KleidiAI 后端新增 SME2 指令集下的 Q4 K 和 Q6 K 矩阵乘法支持,由 Arm 的 Charles Xu 提交。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan
llama.cpp 发布 b11603 版本,主要变更是优化 Vulkan 后端在池化窗口较大时的 pool 2d 算子:当窗口大于一个 subgroup 时,改用整个 subgroup 计算每个输出。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。
llama.cpp 发布 b11602 版本,主要变更是 meta 后端在 arena 重新分配时重建所有子图(PR #30453),并回退了新增的测试用例。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11601 版本,主要新增 Hexagon 后端可配置的 HTP DCVS/HMX 电源模式支持,通过 GGML HEXAGON POWER MODE 环境变量和 run.py 的 --hex-power-mode 标志进行控制,并保持 HTP 在 DCVS 电源配置下保持唤醒。该版本同时提供覆盖 macOS、Linux、Wind
llama.cpp 发布 b11600 版本,修复了 no-cache attention 中 KQ bias 的填充问题:此前 no-cache attention 会将 K、V 和 mask 填充到 256,但 T5 还会加入 [n tokens, n tokens] 的相对位置 bias,导致与 KQ 相加时维度不匹配;本次修复将 bias 用零填充到
Maya Research 在 Hugging Face 上发布了开源权重文本转语音模型 Maya-1,采用 Apache 2.0 许可。该模型约 33 亿参数,基于 decoder-only LlamaForCausalLM 架构,通过自然语言描述设计音色并支持内联表情控制,可生成 20 多种情绪与语音风格。模型以 SNAC 离散音频码表示语音,解码为 2
面壁智能与OpenBMB开源MiniCPM-V 4.7,包含35B-A3B MoE和1B两个版本,其中35B-A3B仅需约3G内存即可在iPhone、iPad等端侧设备断网运行,解码速度达每秒13个token以上。模型通过前瞻专家调度、混合精度量化和视觉token压缩等技术实现端侧高效推理,并在MMBench、OmniDocBench等多项基准上取得领先成绩
llama.cpp 发布 b11598 版本,主要变更为为 laguna 系列模型加载 YaRN beta 元数据(PR #30331),该改动由 Codex 协助、Adam Caldwell 共同提交。版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、V
llama.cpp 发布 b11597 版本,主要优化了池化嵌入(pooled embeddings)场景下的计算图构建。此前即使上下文只提取池化嵌入,模型仍会展开 LM head 并计算每个 token 的 n vocab 个 logits,造成冗余计算和主机内存占用。本次改动让模型仅声明 t logits,并在池化类型非 NONE 时跳过 LM head
Google 发布 ADK JavaScript 的 devtools v2.3.0 版本,主要将 CLI 功能对齐 adk-python v0.1.0,并在 API 服务端运行端点支持 customMetadata、为 ADK 保留 adk internal 前缀的 customMetadata 键。同时修复了 Runner 中 appName 优先级、a
AtomicChat 在 Hugging Face 发布了 Qwen-Image-2.1-Turbo 的 GGUF 量化版本,基于 Qwen 官方 BF16 权重并使用自建重要性矩阵,面向 stable-diffusion.cpp 本地推理。该版本采用 Atomic Dynamic 逐张量混合精度策略,官方评测显示 AD-Q4 K 比普通 Q4 K 更接近
AtomicChat 在 Hugging Face 发布了 Qwen-Image-2.1-Turbo-Uncensored-GGUF,对 Qwen-Image 的文本编码器 Qwen3-VL-8B-Instruct 进行 abliteration,将拒绝方向从权重中投影去除,使其作为聊天模型时英文拒绝率从 88.9% 降至 1.2%、俄文从 38% 降至 0
llama.cpp 发布 b11596 版本,主要将原本分散在 test-save-load-state、test-recurrent-state-rollback 和 test-state-restore-fragmented 三个测试中的上下文状态测试合并为统一的 test-llama-context 二进制,以模型为行、用例为列输出判定矩阵,并支持多线
llama.cpp 发布 b11594 版本,主要更新是 Vulkan 后端允许在 Windows 上让多个设备访问 GPU 可见的主机内存,并处理了空指针和启用条件等问题。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包,覆盖 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端。
Hugging Face 用户 webmp3 发布了 Sakura-Qwen-Image-2.1-Turbo-Uncensored-GGUF,这是对 Qwen/Qwen-Image-2.1-Turbo(8 步蒸馏、7B DiT)的社区量化版本,并搭配了 abliterated(去审查)文本编码器。该仓库提供多种 GGUF 量化权重,支持 stable-dif
llama.cpp 发布 b11592 版本,主要改动在 CUDA 后端:新增 GGML CUDA GRAPH DEBUG 环境变量用于控制 CUDA graph 调试日志,并将环境变量读取改为通过静态访问器只读取一次,避免每次调用重复读取。同时移除了 CUDA graph 日志的 NDEBUG 门控。该版本照例提供 macOS、Linux、Windows、
Liquid AI 在 Hugging Face 发布两款开源决策模型 d1-3B 和 d1-omni-600M,基于其 Liquid Foundation Models 构建,不生成 token 而是单次前向传播给出答案。d1-3B 在 Decision Index 0.2.1 上以 48.57 分成为 10B 以下最佳决策模型,支持文本和图像,在 NVI
llama.cpp 发布 b11588 版本,主要变更是允许 Qwen3.8 Flash Next 模型接受图像嵌入(image embds)以支持 MTP,该改动延续自 #30257 并关闭 #30307。发布同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA
NVIDIA 将完整的 Run:ai 平台开源,作为 NVIDIA DSX AI Factory 平台的一部分,让客户、开发者和生态伙伴获得生产级 AI 工作负载与 GPU 编排能力。开源内容包括完整平台及四个可独立采用的组件:KAI Scheduler、GPU Fractioning Operator、KAI Resource Management 和 W