KVFetch:为KV缓存压缩缺失的另一半提供时间预取
该论文指出当前 KV cache 压缩方法(基于分数的驱逐、摘要补偿、卸载召回)都只实现了按内容关联的寻址,缺少按位置顺序遍历的寻址通道,导致在 RAG、代码补全等需要逐字复制标识符的任务中出现「顺序遗忘」失败。作者提出 KVFetch,一个免训练、即插即用的框架,通过将低可预测性字面量降级到量化冷层、用单调读指针检测复制行为、并预取位置后继到固定大小热层槽
技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。
该论文指出当前 KV cache 压缩方法(基于分数的驱逐、摘要补偿、卸载召回)都只实现了按内容关联的寻址,缺少按位置顺序遍历的寻址通道,导致在 RAG、代码补全等需要逐字复制标识符的任务中出现「顺序遗忘」失败。作者提出 KVFetch,一个免训练、即插即用的框架,通过将低可预测性字面量降级到量化冷层、用单调读指针检测复制行为、并预取位置后继到固定大小热层槽
该论文提出 MoR-MLLM,一种基于 Mixture-of-Recursions(MoR)框架的计算稀疏多模态大语言模型。它通过自适应逐 token 递归,动态调整递归深度,将更多计算分配给视觉或语言上困难的 token,并跳过简单 token 的冗余操作。为稳定多模态场景下的递归稀疏训练,作者设计了三阶段 MoR-Tuning 策略和熵正则化损失。实验表
华为在全联接大会上推出OceanStor M900,英伟达也推出CMX Context Memory Storage,两者都将推理过程中的KV Cache进行分层管理和外置存储,以"以存换算"降低重复计算开销。业内认为KV Cache外置的核心是在算力成本与存储成本间找平衡,但面向KV Cache负载优化的SSD尚未形成标准化产品,规格(容量、耐久度、性能)
llama.cpp 发布 b11487 版本,主要更新为 Hexagon 后端新增对分块(tiled)Q4 K 和 Q6 K 量化格式的 GET ROWS 支持,并正确拒绝 Q4 K 视图。该版本同时提供覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制包,包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等
llama.cpp 发布 b11485 版本,主要修复了 TranslateGemma 的 jinja 解析器问题,并在缺少 source lang code 或 target lang code 时输出日志。该版本同时提供了覆盖 macOS、Linux、Windows、Android 等平台的预编译二进制文件,支持 CUDA、Vulkan、ROCm、SYC
llama.cpp 发布 b11484 版本,主要更新了 chat 模块中工具名称与参数解析规则,改为基于索引进行匹配。此次修复解决了由名为 'call' 的工具引发的无限递归 bug,并调整了相关测试。该版本同时提供覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
llama.cpp 发布 b11483 版本,新增对 LiquidAI/d1-3B 决策模型的支持,并将决策类型 d1 重命名为 lfm2-d1。同时 mtmd 模块改为从 GGUF 文件读取 LFM2 图像缩放算法。该版本提供覆盖 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
开发者 mradermacher 在 Hugging Face 上发布了 Lythri-4B-A2B 模型的 GGUF 量化版本(i1-GGUF),基于 Lythri/Lythri-4B-A2B 原始模型,采用加权/imatrix 量化方式,提供从 IQ1 S 到 Q6 K 的多种量化档位,面向情感支持、陪伴和端侧对话场景。该版本使用 Apache-2.0
开发者 mradermacher 在 Hugging Face 上发布了 Lythri-7B-A4B 模型的 i1-GGUF 量化版本,基于 Lythri/Lythri-7B-A4B 原始模型,采用 imatrix 加权量化,提供从 IQ1 S 到 Q6 K 的多种量化档位,面向情感支持、陪伴和端侧对话场景,采用 Apache-2.0 许可。
llama.cpp 发布 b11481 版本,主要变更为 mtmd 模块新增对 Cohere2 视觉模型的支持(PR #30062),并包含针对该实现的代码调整与 linear 1 融合优化。该版本同时提供 macOS、Linux、Windows、Android 等多平台、多后端(CUDA、Vulkan、ROCm、SYCL、OpenVINO 等)的预编译二进
llama.cpp 发布 b11480 版本,主要变更为在 llama 中为保存在主机内存中的 MoE 专家添加 GPU 缓存(PR #29887),该改动由 Claude 协助完成。版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译包,覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
Anthropic 发布 Claude Haiku 5.5 小模型,官方跑分逐项超过 GPT-6 Luna,并超越 DeepSeek V4.1 Flash 和 GLM-5.3-Flash,成为新的小模型守门员。价格对标 GPT-6 Luna,10 万 token 以内请求输入输出价格较上代 Haiku 4.5 砍 90%,但更换 tokenizer 后同任务
另有 1 家信源报道
Apple 机器学习研究团队(联合宾夕法尼亚大学、UIUC)提出 Normalizing Trajectory Models(NTM),将扩散模型的每个反向步骤建模为具有精确似然训练的条件归一化流,结合浅层可逆块与跨轨迹的深度并行预测器,可从头训练或从预训练流匹配模型初始化。其精确轨迹似然支持自蒸馏,使轻量去噪器仅用四步即可生成高质量样本,在文生图基准上四步
Anthropic 发布快速低价模型 Claude Haiku 5.5,定价与 OpenAI 上月发布的 GPT-6 Luna 完全一致(10 万 token 内 $0.10/$0.50),但超过 10 万 token 后涨价 5 倍,而 Luna 在 27.2 万 token 才小幅涨价。Haiku 5.5 采用更不慷慨的分词器,同一提示词 token 数
另有 2 家信源报道
微软在旧金山 Tech Week 活动上公布了搭载 Nvidia RTX Spark 芯片的新款 Surface Laptop Ultra 和 Surface RTX Spark Dev Box 的规格与价格,前者起售价 2600 美元,后者起售价 6000 美元,主打本地运行 AI 模型。两款设备运行改版 Windows 11,新增 Execution C
OpenAI 面向所有 ChatGPT 用户推出 GPT-6,并带来名为“Intelligent UI”的新功能,使回答以图表、按钮、表单等交互界面呈现,而非纯文本,格式会根据问题自动适配,用户还能在聊天中构建储蓄计算器、游戏等小工具。GPT-6 还支持在“思考”过程中同步作答,OpenAI 称这可将等待时间缩短 44%,并在内部测试中于高难度网络搜索任务上
AWS 宣布 Claude Haiku 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线。据 Anthropic 称,这是 Claude 5.5 系列中最快、最高效的模型,面向子代理和高并发、成本敏感型任务,多数任务成本比 Claude Haiku 4.5 低约 75%。它是首个支持 effort contro
在旧金山微软活动上,黄仁勋与纳德拉宣布 NVIDIA 与微软联合为 Windows PC 打造 AI 智能体运行环境。微软宣布 Microsoft Execution Containers(MXC)正式可用,为智能体提供操作系统级安全运行基础设施;NVIDIA 推出 RTX Spark,将完整 AI 栈带入 Windows 笔记本和紧凑台式机,笔记本即日开启
开发者 mradermacher 在 Hugging Face 上发布了 Qwen3.5-9B-Kimi-k3-Distilled 的 GGUF 量化版本,提供从 Q2 K 到 f16 的多种量化格式以及多模态补充文件。该模型基于 khazarai/Qwen3.5-9B-Kimi-k3-Distilled,使用 greghavens/kimi-k3-codi
微软的 Nvidia 驱动 Surface RTX Spark Dev Box 现已开启预购,售价 5,999 美元,预计 11 月发货。该设备搭载 Nvidia Arm 架构 RTX Spark 平台和 128GB 统一内存,主要面向开发者,优化本地 AI 运行,可运行超过 120B 参数的模型。它预装 Windows 11 Pro 及 VS Code、G