llama.cpp b11642:server 仅缓存可恢复的 slot 状态
llama.cpp 发布 b11642 版本,主要改进 server 端的 prompt cache 机制:现在只保存可恢复的 slot 状态到缓存中,避免 rerank、embedding、decision、infill 等任务的状态无意义地占满缓存。改动引入 cache pending 标记跟踪可恢复状态,并让 infill 和 decision 任务也
技术方向 · 开源模型、框架与仓库动态:权重开放、社区项目、开源与闭源的力量对比 · 共 2113 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
llama.cpp 发布 b11642 版本,主要改进 server 端的 prompt cache 机制:现在只保存可恢复的 slot 状态到缓存中,避免 rerank、embedding、decision、infill 等任务的状态无意义地占满缓存。改动引入 cache pending 标记跟踪可恢复状态,并让 infill 和 decision 任务也
LiteLLM 发布 v1.107.0-dev.2 开发版本,说明所有 Docker 镜像均使用 cosign 签名,并提供基于固定 commit hash 与 release tag 两种验证方式。该版本还包含大量修复与功能更新,涉及 Anthropic、Vertex AI、Gemini、Databricks、MCP、缓存、代理分析及 DashScope
llama.cpp 发布 b11640 版本,主要变更是 Vulkan 后端针对 cm2 mulmat 采用对 L2 缓存友好的 workgroup 调度(PR #30215)。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
llama.cpp 发布 b11639 版本,主要修复了 OpenCL 后端 CLAMP 算子在处理非连续(strided)视图时索引错误的问题。修复方式是新增一个针对非连续输入的 strided kernel clamp nc,并在源张量非连续时启用该内核,行为与其他一元算子保持一致。该版本同时提供 macOS、Linux、Windows、Android
昆仑万维于2026年10月15日发布并开源 Matrix-Game 4.0,称其为世界首款可在单张消费级显卡(NVIDIA RTX 5090)上运行的视频大模型游戏,实现480p、60 FPS、端到端延迟低于150毫秒的实时交互。该方案采用新范式:由游戏引擎维护世界状态与交互规则,编程智能体用代码构建游戏逻辑,视频模型负责实时渲染精细画面,并同步开源代码、权
另有 1 家信源报道
英伟达发布博客介绍北欧地区在先进计算领域的进展:北欧正成为欧洲增长最快的基础设施枢纽,预计到2027年底部署约1吉瓦AI云容量。瑞典由爱立信、阿斯利康等组成的财团推出基于NVIDIA DGX SuperPOD的共享超级计算机Sferical One。Spotify、ABB Robotics、Elisa等企业以及Stilta、Klang等初创公司基于英伟达基础
LangGraph 发布 langgraph-prebuilt 1.1.1 版本,同时更新了 langgraph 1.2.15、checkpoint-postgres 3.2.0 和 checkpoint-sqlite 3.1.2 等多个相关包。本次更新修复了 ToolNode 吞掉无效 resume 值的问题,并按任务路径对 delta channel 重
昆仑万维旗下 Skywork AI 发布并开源 Matrix-Game 4.0,号称全球首款可在单张 RTX 5090 消费级显卡上实时运行的游戏世界模型。该模型采用「游戏引擎维护世界状态、视频模型负责画面生成」的分工思路,通过结构草图、动态 Caption、少步自回归蒸馏及 CUDA Graph、FP8 等工程优化,实现按键到画面约 112ms 响应、60
另有 1 家信源报道
llama.cpp 发布 b11633 版本,修复了 ggml-cpu 中 SET ROWS 操作的转换缓冲区越界问题:该操作原计划以 n tasks=1 执行,但每个线程都会运行并各自使用 F16 到 F32 转换缓冲区的一行,导致线程号大于 0 的线程在图包含其他多线程算子时写出工作缓冲区之外。修复方式是将 set rows 移入 n task = n
llama.cpp 发布 b11632 版本,为 CUDA 和 HIP 后端新增 GDN(Gated Delta Net)分块内核,代码移植自 tetherto/qvac-fabric-llm.cpp 的 PR #257。该更新在经 RTX 3090 与 RTX 4090 验证后,为 Ampere(SM86)和 Ada(SM89)架构启用 GDN MMA,未
Vercel AI SDK 发布 ai@7.0.141 补丁版本,修复了 workflow 中按 telemetry.includeRuntimeContext 配置传递运行时上下文的问题,并同步更新了 @ai-sdk/provider-utils 与 @ai-sdk/gateway 两个依赖包。该更新属于常规维护性补丁,主要影响使用该 SDK 工作流与遥测
OpenAI 发布 openai-agents-python 库 v0.24.0 版本。新特性包括在转换后的工具上暴露 MCP 注解,以及支持运行级别的工具异常格式化。修复方面包括按 API 限制批量写入 OpenAI 会话、延迟待审批请求的自动压缩,并升级了 fastapi、grpcio、boto3、redis、temporalio 等多项依赖。
DeepSeek网页及API于北京时间10月15日上午8点11分起出现全球性故障,官方状态页显示对话服务、DeepSeek V4 Pro API及V4.1 Flash API部分中断,故障已定位并进入修复阶段,持续约1小时。第三方监测平台StatusGator过去24小时收到86条报障。与此同时,名为DeepSeekHarness的账号在B站出现,该Harn
llama.cpp 发布 b11630 版本,修复了 ggml 中 conv 1d 在批量输入下的结果布局错误:此前 GEMM 输出实际为 [OL, N, OC],而 reshape 却声明为 [OL, OC, N],导致通道与批次交错且无任何断言触发。修复后统一 reshape 为 [OC, N, OL] 并 permute 还原,所有批次大小构建相同计算
llama.cpp 发布 b11627 版本,主要变更为在 ggml 中为 mul mat id 添加说明注释,并禁用了 mul mat id dup 相关测试(PR #30501)。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包,支持 CUDA、Vulkan、ROCm、SY
MLX 发布 v0.32.4 版本,这是一个以修复和优化为主的补丁更新。主要变更包括为缩放点积注意力(SDPA)和门控 delta 网络添加 VJP 支持、新增 Python 3.15 支持、修复大量 Metal/CUDA 后端与视图/步幅相关的 bug,并优化了量化矩阵乘法和 gather qmm 等内核性能。该版本提升了 MLX 在 Apple Sili
Hugging Face Blog 发布 Lumma-Fev-27B,这是 Lumma-Fev 决策模型家族中最大的新成员,基于 Qwen3.8-27B 全权重训练约 10 万条决策样本,支持英语及印地语、泰米尔语、卡纳达语。在 4,454 条留出决策上准确率达 90.7%,高于 TypeSafe Jev 的 83.9%,校准误差也更低(0.009 对 0.
Strands Agents SDK 发布 Python v1.61.0,主要新增将 Strands 打包为 Claude、Codex 和 Cursor 技能,以及 TypeScript 侧的 DecisionModel 原语、MCP 工具调用进度回调和 v2 prompts/resources 分页方法。修复方面涉及 MCP 连接保持、OpenAI 内容过
Strands Agents SDK 发布 harness-cli v0.2.1,主要新增功能包括将 Strands 打包适配 Claude、Codex 和 Cursor,引入 DecisionModel 原语与 LLMDecisionModel,为 MCP 工具调用增加进度回调及 v2 prompts/resources 分页方法,并新增 python r
Strands Agents SDK 发布 harness-typescript v0.3.0,主要新增 DecisionModel 原语与 LLMDecisionModel、MCP 工具调用进度回调及 v2 prompts/resources 分页方法、python repl 与 vended subagent 工具的 TypeScript 移植,并支持