llama.cpp b11899:mtmd 新增能力查询接口
llama.cpp 发布 b11899 版本,核心变更是为 mtmd(多模态)模块新增 mtmd helper get capabilities 接口,用于查询多模态能力,并补充 audio stream、audio gen spk ref、text gen 等能力标记,同时保留旧 API 以维持兼容。该版本同步提供 macOS/iOS、Linux、Andr
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2111 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11899 版本,核心变更是为 mtmd(多模态)模块新增 mtmd helper get capabilities 接口,用于查询多模态能力,并补充 audio stream、audio gen spk ref、text gen 等能力标记,同时保留旧 API 以维持兼容。该版本同步提供 macOS/iOS、Linux、Andr
llama.cpp 发布 b11898 版本,主要修复了 ggml-cpu 中 ARM 架构下未使用变量的编译问题(#31180)。同时该版本提供了覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。此次更新属于常
AtomicChat 在 Hugging Face 发布了 Meta Muse Glimmer 30B 的 GGUF 量化版本,基于原始 BF16 权重并采用校准的重要性矩阵与实测选定的位布局。该版本已合并进 llama.cpp master,可在单张 RTX 5090 上以 24.6 GB 显存运行完整多模态、工具调用与投机解码,生成速度提升 1.8 倍。
AtomicChat 在 Hugging Face 发布了 NVIDIA Nemotron 3.5 Bolt 74B-A9B 的 Atomic Dynamic GGUF 量化版本,基于 NVIDIA 原始 BF16 权重和自建重要性矩阵构建,采用标准 llama.cpp 量化类型。该版本提供从 Q8 0 到 IQ1 M S 共 13 个文件,其中 21.9
AtomicChat 在 Nanbeige 发布 Nanbeige4.3-33B 当天,基于其原始 BF16 权重制作并发布了 GGUF 量化版本,包含自研重要性矩阵的 Atomic Dynamic 系列(13.7GB 至 30.1GB)以及 llama.cpp 原生 Q8 0、Q5 K M。该模型为 33B 稠密 agent 与推理模型,Llama 架构、
llama.cpp 发布 b11897 版本,重构了 test-llama-archs 测试,使其不再链接内部 libllama 符号,从而修复了在 Windows 共享库(DLL)构建下无法编译的问题。改动包括在 llama-ext.h 中声明 llama arch 包装函数、将模型保存测试改用公开的 llama model save to file(),
面壁智能(OpenBMB)发布 MiniCPM-V 4.7 的 35B-A3B 版本,这是 MiniCPM-V 系列首个 MoE 多模态模型。该模型借助 Lookahead Expert Scheduling(LES)、细粒度分层量化和 DSpark 投机采样,成为首个可在端侧无损流畅运行的开源 MoE 模型,在 iPhone 17 Pro Max 上仅用
llama.cpp 发布 b11896 版本,主要修复了 CI 中 WebGPU memset 的竞态问题(#31162)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于常规构建发布,对普通用户影响有限,主要提升 CI
llama.cpp 发布 b11895 版本,主要修复 Metal 后端在大矩阵输出偏移场景下的整数溢出问题,并加宽了 batch 偏移与 MUL MAT ID token 索引的数据宽度。该改动由 Codex 辅助完成,属于底层推理引擎的稳定性修复,可避免 Apple 设备上大模型推理时因偏移溢出导致的错误。同时该版本照例提供覆盖 macOS、Linux、
FuriosaAI 在 Hugging Face 发布 furiosa-ai/Meta-Llama-3.1-8B-Instruct-FP8-dynamic,该仓库在 RedHatAI 的 FP8 动态量化版 Llama-3.1-8B-Instruct 基础上附带 Furiosa Executable Bundle(FXB),可在 FuriosaAI RNGD
Google DeepMind 在 Hugging Face 发布 Gemma 4 系列开源模型,包含 E2B、E4B、12B、26B A4B、31B 五种尺寸,采用 Dense 与 MoE 混合架构,支持文本、图像、视频及部分尺寸的音频输入,上下文窗口最高 256K。该系列强化推理、编码与原生函数调用能力,并引入多 Token 预测(MTP)草稿模型,通过
handy-computer 在 Hugging Face 发布了 IBM Granite Speech 4.1-2b NAR 模型的 GGUF 量化版本,供 transcribe.cpp 推理框架使用。该模型采用非自回归架构,通过一次前向传播完成 CTC 假设编辑,支持英语、法语、德语、西班牙语和葡萄牙语离线语音转文字。量化后 Q4 K M 仅 1.56G
KRAFTON AI 在 Hugging Face 发布了 Raon-1 mini preview 的 GGUF 量化版本,供 llama.cpp 使用,文件由同一检查点的 BF16 权重转换而来,Q6 K 及更小量化使用了 imatrix。Raon-1 mini 是 KRAFTON AI 从零训练的 30B-A4B MoE 语言模型,采用混合注意力架构,原
OpenBMB 在 Hugging Face 发布 MiniCPM-V 4.7 1B 的 GGUF 量化版本,基于 llama.cpp,面向端侧部署。该 1B 多模态模型采用 LLaVA-UHD v4 的 ViT 内早期压缩与 4x/16x 混合视觉 token 压缩,官方称在整体得分和推理效率上明显优于 Qwen3.5 0.8B。模型支持 iOS、Andr
Hugging Face 用户 lyf 发布了基于 huihui-ai/Huihui-Qwen3.8-27B-abliterated 的 NInfer 量化产物,采用 FP8 与 NVFP4 混合精度,面向 Blackwell 架构(RTX 5090、sm120)。该仓库同时提供原始 v2 与 v3 兼容版本,v3 仅更新容器与聊天模板、保持全部 1118
DeepSeek 全面开源推理框架 DeepInfer,继模型权重和 FlashMLA、DeepGEMM 等算子库之后,进一步开放模型运行链路;其 FlashMLA 人工手调版本算子性能达到硬件极限的 90% 以上。同一周内,完全由 AI 编写算子、无人工逐行调优的 ForgeKernel 同时登顶英伟达 SOL-ExecBench FlashInfer-B
n8n 发布 1.123.88 版本,主要包含两项缺陷修复:核心模块在写连接打开失败时释放 SQLite 写锁,以及任务运行器中将 certifi 更新至 2026.10.23。该版本为常规补丁更新,影响范围限于使用 SQLite 存储或任务运行器的自托管用户。
岩山科技旗下岩芯矩阵联合港科大、CMU等高校发布并开源EdgeRock-4B模型,采用记忆岩锚(RMA)机制,将256K上下文下的KV Cache固定在72MiB,相比源模型Qwen3.5-4B减少99.1%。在单张80GB GPU上实现512路并发长推理,输出吞吐达12124 tokens/s,为源模型的6.42倍,同时AIME 2024-2026平均一次
成立仅三个月的深圳公司炎曦动力(Primotion)首次公开亮相,发布具身基座模型Paimon-0,在RoboColiseum、RoboCasa365、VLA-Arena等四项评测中排名第一,并在RoboColiseum通用操作子榜上超过GPT-6 Astra、Claude Opus 5.5、Gemini 4 Argon等通用多模态大模型。该公司定位为具身芯
Solstice-AI 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-UNCENSORED-Protium-GGUF,这是基于 DeepSeek-V4.1-Flash 的去审查(uncensored/dealigned)GGUF 量化版本,采用 Protium-1.0 认知架构,并集成推测解码 DSpark Drafter、1