llama.cpp b10907:修复多架构 MTP 上下文 KV cache 分配
llama.cpp 发布 b10907 版本,主要修复了 deepseek2、glm4moe、cohere2moe 等架构下 MTP(多 token 预测)上下文的 KV cache 分配问题,并新增了反向架构门控与针对 MTP 层过滤的架构测试。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2117 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b10907 版本,主要修复了 deepseek2、glm4moe、cohere2moe 等架构下 MTP(多 token 预测)上下文的 KV cache 分配问题,并新增了反向架构门控与针对 MTP 层过滤的架构测试。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包。
llama.cpp 发布 b10906 版本,修复了服务器端在图像输入后进行推测解码(speculation)时的位置传递问题:此前向 drafter 传递的是 token 数量而非实际位置,该问题影响所有 drafter 而不只是 DFlash。同时将 draft 参数 n past 重命名为 pos0,以明确其表示位置而非 token 数。该版本同步提供
zai-org 发布并开源了多模态 OCR 模型 GLM-OCR,基于 GLM-V 编码器-解码器架构,引入多令牌预测(MTP)损失和全任务强化学习,并集成 CogViT 视觉编码器与 GLM-0.5B 语言解码器。该模型在 OmniDocBench V1.5 上取得 94.62 分排名第一,参数量仅 0.9B,支持 vLLM、SGLang、Ollama 等
llama.cpp 发布 b10905 版本,主要更新为 CUDA/HIP 上的 Flash Attention 调优(针对 gfx1201)。该改动在 RDNA4 上为 head size 256 启用 mma Flash Attention 并调整配置,同时在 AMD WMMA 上优先使用整块 tile 的 FA 网格而非 stream-k,并修订了 s
在2026 Inclusion·外滩大会上,蚂蚁密算董事长韦韬宣布可信原生智能体HOP 3.0正式开源,向开发者、企业和行业专家开放智能体原生语言技术能力。HOP 3.0提出以智能体原生语言融合显性结构化逻辑与大模型推理,并借鉴SQL事务commit机制实现探索—核验—提交分离,以解决自主智能体在金融、医疗、政务等严肃场景中的三重失控问题。据披露,在复杂规格
llama.cpp 发布 b10903 版本,修复了 Vulkan 后端 argsort 中的竞态条件和越界访问问题(PR #28705),其中越界访问可能解释 CI 中的失败。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b10902 版本,主要变更为在 OpenCL 后端新增 A8 Q4 0 矩阵乘法的二进制内核支持(PR #28268)。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,涵盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后
LiteLLM 发布 v1.102.0-dev.2 开发版本,该版本所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。本次更新包含大量修复与功能改进,涉及 MCP 代理日志与授权、消费追踪、流式响应构建、Azure AI 定价、护栏策略、路由 TTFT 百分位、hosted
RunningHub 针对 MiniMax 开源视频模型 H3 推出 H3 Lightning 加速方案,通过 RH 后训练加速模型(50 步降至 4-9 步)、SageAttention2、Cache-DiT、torch.compile 及 TP2+Ulysses4 多卡并行,在 4 张 RTX 6000D 上把 5 秒视频生成从 348.8 秒压缩到 2
另有 1 家信源报道
Farid Zakaria 发布了 trynix.dev,这是一个基于 qemu-wasm 的 x86 64 Linux 虚拟机,完全在浏览器中通过 WebAssembly 运行,可启动过去 13 年间的任意 Nix 包,并支持 URL 寻址。他还构建了 trynix-preview,一个 GitHub Action,能在 PR 上评论链接,让用户直接在浏览
llama.cpp 发布 b10901 版本,主要变更是 Vulkan 后端在上下文空闲时,ggml backend vk cpy tensor async 改用 CPU 写入方式。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、Vulkan、ROCm、OpenVINO、SYCL、CUDA
OpenAI 发布 openai-agents-js v0.18.0,主要变更包括 Docker 文件 API 迁移至容器内运行、UnixLocalSandboxClient 新增可选的 fileIOProtection 文件保护选项,以及 imageGenerationTool() 支持 action 参数(generate/edit/auto)。此外还修
Google 发布 ADK Python v2.9.0,重点提升智能体韧性并扩展生态集成。新版本引入 FallbackModel 实现主模型出错时自动故障转移,新增 LiveKit runner 支持语音与电话智能体,并支持从 YAML 声明式配置加载 ADK 2.0 图工作流。此外,该版本兼容 MCP SDK 2.x(默认仍解析 1.x),并包含工作流节点
Hugging Face 用户 peculiar-ragdoll 发布了 Tiel-Coder-35B-A3B-GGUF,这是对 ornith-ai/Ornith-1.5-35B-A3B 进行动态 imatrix 量化并内置 Sharp 聊天模板的 GGUF 版本,面向 agentic coding 与多轮对话。在 SWE-bench-Live 上 25 题
llama.cpp 发布 b10900 版本,主要变更是 Vulkan 后端使用 add alloc dep 以在 prefill 阶段启用 topk moe 融合(PR #28422)。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,覆盖 CPU、Vulkan、ROCm、OpenVINO、SYCL、C
llama.cpp 发布 b10897 版本,主要更新是将 Windows ARM64 平台的 CUDA 13.4 构建从 Developer Preview 归档迁移到 13.4.1 GA 可再发行组件。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包,涵盖 CUDA、Vulkan、ROCm、OpenV
OpenAI 发布官方 Node SDK v7.14.0 版本,新增 Live API 支持。该版本同时包含多项依赖更新与修复,涉及 joi、next、sharp 等开发与生态测试依赖的版本升级。
蚂蚁灵波开源三款世界模型:LingBot-World 2.0 Small(1.3B)、Bidirectional(双向Teacher模型)和Causal Pretrain(因果预训练基座模型)。其中1.3B版本面向消费级单卡GPU,可实时生成,便于个人开发者和高校实验室本地复现;双向Teacher模型提供高质量蒸馏源,因果预训练模型面向后训练、评测与场景适配
LiteLLM 发布 v1.100.1 版本,所有 Docker 镜像均使用 cosign 签名,并提供了通过固定 commit hash 或 release tag 验证镜像签名的命令。该版本主要包含若干 backport 修复,涉及 router 重试逻辑以及撤销 spend attribution 相关改动。
Hugging Face 用户 peculiar-ragdoll 发布了 Nail-Qwen3.6-35B-A3B-GGUF-MTP,这是基于 Qwen3.6-35B-A3B 的 4-bit GGUF 量化模型,保留了标准量化中被丢弃的多 token 预测(MTP/nextn)张量,并内置改进的聊天模板与强制系统提示。该模型面向推理、多轮对话和 agenti