llama.cpp b11493:SYCL 新增分组 MoE XMX GEMM
llama.cpp 发布 b11493 版本,主要变更为在 SYCL 后端新增分组 MoE XMX GEMM 支持(PR #29245)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2115 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11493 版本,主要变更为在 SYCL 后端新增分组 MoE XMX GEMM 支持(PR #29245)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
LangChain4j 发布 1.22.0 与 1.22.0-beta32 版本。本次更新新增 OpenAI Decisions API 支持(OpenAiDecisionModel 与 OpenAiOfficialDecisionModel),并加入面向 AWS Bedrock 批量推理的 BedrockBatchChatModel。此外还包含 Anthr
LiteLLM 发布 v1.102.4 版本,该版本为稳定分支 1.102.x 的补丁更新,主要将 PR #44508 回合(backport)到该分支。此次发布强调所有 Docker 镜像均使用 cosign 签名,并提供了通过固定 commit hash 或 release tag 验证镜像签名的具体命令,以增强供应链安全性。
LiteLLM 发布 v1.101.6 版本,该版本通过 backport PR #40989 到 stable/1.101.x 分支后切出。发布说明强调所有 LiteLLM Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证镜像签名的方式。
Cloudflare 在其 Birthday Week 期间开源了 Clef 系列决策模型,包括 9B 和 27B 参数的多模态模型,用于在预定义选项间做选择而非生成文本。Clef 接收状态和带类型问题的 schema,单次前向传播即可返回每个选项的概率,可处理文本、JSON、图像和视频,并托管在 Cloudflare 边缘 GPU 上以降低延迟。Cloud
llama.cpp 发布 b11490 版本,主要更新为 Hexagon 后端启用 alloc buffer n,新增对大张量拆分到独立缓冲区的支持,并将 GGML HEXAGON MBUF 改为接受 dyn、static、total 三个值,同时把动态缓冲区默认值从 128MB 提升到 512MB 以改善大 MoE 模型性能。此外新增 --no-embd-
llama.cpp 发布 b11489 版本,主要变更为 Hexagon 后端针对 Q6 K 权重的反量化(dequant)速度优化(PR #30121),通过额外展开循环因子 2 提升性能。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROC
llama.cpp 发布 b11488 版本,新增对 LiquidAI/d1-omni-600M 决策模型的支持,并在 CUDA 上保留 conformer GLU sigmoid。服务端支持通过 images 和 input audio 传入 d1omni 音频,并将无记忆 lfm2 限定为非因果模式。同时将决策类型 d1omni 重命名为 lfm2-d1
研究者发布开源框架 Tokka-Bench,用于跨语言评估分词器质量,覆盖 100 种自然语言(30+ 种文字系统)和 20 种编程语言,采用语言感知的分词策略。该框架使用五个互补指标(每 token 字节数、唯一 token 覆盖率、子词生育率、词切分率、词表构成),并对比了 GPT-2、GPT-4、gpt-oss、Llama 3.1、Gemma 3、Qw
研究团队发布 VCR-Bench,一个面向视频分类鲁棒性的模块化开源基准框架,旨在填补图像分类有成熟对抗鲁棒性评测而视频分类缺乏统一基础设施的空白。该框架统一了视频加载、分类器封装、对抗攻击与防御、感知指标、配置预设和结果日志,目前集成 30 个视频分类模型、14 种对抗攻击和 10 种防御方法,并在 Kinetics-400 子集上报告干净准确率、攻击成功
llama.cpp 发布 b11487 版本,主要更新为 Hexagon 后端新增对分块(tiled)Q4 K 和 Q6 K 量化格式的 GET ROWS 支持,并正确拒绝 Q4 K 视图。该版本同时提供覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制包,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等
llama.cpp 发布 b11486 版本,主要改动是改进 Hexagon 后端上 GELU 激活函数的计算精度(PR #30104)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,包含 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11485 版本,主要修复了 TranslateGemma 的 jinja 解析器问题,并在缺少 source lang code 或 target lang code 时输出日志。该版本同时提供了覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制文件,支持 CUDA、Vulkan、ROCm、SYC
llama.cpp 发布 b11484 版本,主要更新了 chat 模块中工具名称与参数解析规则,改为基于索引进行匹配。此次修复解决了由名为 'call' 的工具引发的无限递归 bug,并调整了相关测试。该版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
llama.cpp 发布 b11483 版本,新增对 LiquidAI/d1-3B 决策模型的支持,并将决策类型 d1 重命名为 lfm2-d1。同时 mtmd 模块改为从 GGUF 文件读取 LFM2 图像缩放算法。该版本提供覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
开发者 mradermacher 在 Hugging Face 上发布了 Lythri-4B-A2B 模型的 GGUF 量化版本(i1-GGUF),基于 Lythri/Lythri-4B-A2B 原始模型,采用加权/imatrix 量化方式,提供从 IQ1 S 到 Q6 K 的多种量化档位,面向情感支持、陪伴和端侧对话场景。该版本使用 Apache-2.0
开发者 mradermacher 在 Hugging Face 上发布了 Lythri-7B-A4B 模型的 i1-GGUF 量化版本,基于 Lythri/Lythri-7B-A4B 原始模型,采用 imatrix 加权量化,提供从 IQ1 S 到 Q6 K 的多种量化档位,面向情感支持、陪伴和端侧对话场景,采用 Apache-2.0 许可。
llama.cpp 发布 b11481 版本,主要变更为 mtmd 模块新增对 Cohere2 视觉模型的支持(PR #30062),并包含针对该实现的代码调整与 linear 1 融合优化。该版本同时提供 macOS、Linux、Windows、Android 等多平台、多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进
llama.cpp 发布 b11480 版本,主要变更为在 llama 中为保存在主机内存中的 MoE 专家添加 GPU 缓存(PR #29887),该改动由 Claude 协助完成。版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
Anthropic 宣布启动 Anthropic Cyber Mission,一项旨在帮助防御者保护关键基础设施和开源软件的长期计划。该计划包含两个方向:关键基础设施防御计划(CIDP),联合埃森哲、CrowdStrike、Palo Alto Networks 等合作伙伴,将前沿 Claude 模型、现场工程师和威胁研究引入运营技术防护;以及 OSS Sca