llama.cpp 发布 b11535:llama-bench 支持 -fitc 参数
llama.cpp 发布 b11535 版本,主要变更是 llama-bench 现在会在 -fitc 参数大于所需基准测试规模时予以尊重(PR #28331)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包,包括 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等。
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2114 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11535 版本,主要变更是 llama-bench 现在会在 -fitc 参数大于所需基准测试规模时予以尊重(PR #28331)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包,包括 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等。
llama.cpp 发布 b11534 版本,主要针对 CUDA 后端进行优化:在 SSM SCAN 之后移除冗余的 CUDA 拷贝,将更新后状态快照的拷贝融合进循环缓存,并在 K==1(非投机解码)场景下同样移除冗余拷贝。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包。
Cloudflare 发布 Clef-omni 开放权重决策模型,支持音频、视频、图像和文本多模态输入,基于 Qwen3-Omni-30B-A3B-Instruct MoE 架构,冻结主干并训练 LoRA 适配器。同时 Clef-flash 降价至低于 Jev,Clef 速度提升。该模型在单次 API 调用中完成多模态评分,文本决策中位延迟约 130ms,2
Anthropic 推出名为 Cyber Mission 的长期计划,旨在保护关键基础设施和开源软件免受网络攻击。其中关键基础设施防御计划(CIDP)向电网、水务和交通网络运营方提供 Claude 模型、工程师和威胁分析,创始合作伙伴包括 CrowdStrike、Palo Alto Networks、Deloitte 和 Rockwell Automatio
llama.cpp 发布 b11532 版本,主要变更是为 ModernBERT 编码器使用精确的 GELU 激活函数(PR #30108),同时保留 ggml geglu 上的 tanh GELU 别名,并将 gelu python 映射到 ggml geglu erf。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译
llama.cpp 发布 b11531 版本,主要变更是对 chat 模块的 API 进行重构(PR #30210)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
a16z 合伙人 Olivia Moore 发布报告,盘点前 100 款消费级 AI 应用,指出 ChatGPT 仍遥遥领先,Suno、ElevenLabs 等小型产品展现出持续生命力。她认为消费级 AI 仍处早期,真正机会在于摆脱订阅和 API 收费模式、探索广告等变现方式,并借助开源与轻量模型降低成本;同时社交、约会、电商、旅游、金融、健康等品类目前尚无
AWS 发布 2026 年 9 月 AI 构建者更新汇总,涵盖 Amazon Bedrock、AgentCore 和 Strands 三方面。Bedrock 新增 OpenAI 的 Astra、Sol、Luna 模型,Claude Fable 5.1、Opus 5.5、Sonnet 5.5,Moonshot AI 的 Kimi K3,以及 xAI 的 Gro
Ai2 开源了 AstaBrief 8B,一个专为科学报告生成训练的小型开放权重模型,可将研究问题与检索到的文献片段转化为带引用的报告。该模型基于 Qwen3-8B,采用 SFT 和 DPO 训练,已作为 Asta 平台的 Fast 模式上线,并同时开源模型权重和训练数据。相比 Claude 驱动的 Thinking 模式,Fast 模式平均每份报告生成时间
llama.cpp 发布 b11529 版本,修复了 ggml acc 中因负偏移量导致的越界写入漏洞。ggml acc impl 在将 size t 偏移量收窄为 int32 t 时未做范围检查,大偏移量截断为负数后被符号扩展为巨大 size t,绕过边界断言,造成 dst 缓冲区下方越界写入。修复方式是在收窄前检查偏移量,与 ggml set impl
DeepBeepMeep 在 Hugging Face 发布了适配 WanGP 的 Qwen Image 2.1 系列单文件权重,包括官方 Qwen-Image-2.1-Turbo 的 BF16 与 INT8 ConvRot 量化版本。该权重面向低显存与旧 GPU 用户,推荐使用 8 步、CFG 1 及专用调度器,无需加速 LoRA,并复用原有文本编码器与
llama.cpp 发布 b11528 版本,主要修复了 meta 后端在处理主机内存张量视图时的断言问题:ggml-alloc 不会为视图单独分配缓冲区,而 meta 后端此前会在遇到这类节点时崩溃,该改动同时泛化了此前的 s copy main 变通方案,修复了使用 --split-mode tensor 配合部分 offload 时 KV cache
llama.cpp 发布 b11527 版本,主要变更是 WebGPU 后端将所有原本使用 1D 工作组调度的算子(如 rms norm)改为使用 2D 工作组调度,并移除了 1D 工作组调度逻辑。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端的
llama.cpp 发布 b11526 版本,主要修复了 Vulkan 后端中 rms norm 算子 workgroup 数量溢出的问题(PR #30145)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更
huihui-ai 发布了 Huihui-GLM-5.3-Flash-abliterated-GGUF,这是基于 zai-org/GLM-5.3-Flash 通过 abliteration 技术去除拒绝行为的无审查版本,并以 GGUF 量化格式提供。该模型仅对第 15 至 35 层进行了消融,其余层和专家模块保持不变,GGUF 文件来自 unsloth 的量
llama.cpp 发布 b11524 版本,主要变更是从默认架构中移除 MUSA 的 mp 21,由摩尔线程的 Xiaodong Ye 提交并经过评审修改。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 和 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等
开发者 mradermacher 在 Hugging Face 上发布了 Mapika/decider-35b-a3b 模型的 GGUF 量化版本,提供从 Q2 K 到 Q8 0 共 11 种量化规格,文件大小覆盖 13.0GB 至 37.0GB。该模型基于 Apache-2.0 许可,标签显示其定位为决策模型,具备校准、结构化输出、多任务、单次推理及混合专
llama.cpp 发布 b11521 版本,主要变更是将服务器默认端口改为 9931(PR #30159)。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制,支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
llama.cpp 发布 b11518 版本,主要变更为在 Metal 后端新增 128/96 flash attention 内核,并支持接受所有已编译的配对组合(PR #30209)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenV
阿里 ModelScope 发布 v1.40.2 版本,新增对 Intel XPU(含 iGPU 及 Arc、Flex、Max 系列独显)作为模型推理与训练目标设备的支持,可结合 IPEX-LLM 优化在 Intel GPU 硬件上运行 ModelScope 模型。此外引入小版本镜像构建流程以提升容器化部署的发布粒度,并更新了 modelscope-hub