llama.cpp b11815：修复 SYCL 后端 CONV 2D 非连续输入错误
llama.cpp 发布 b11815 版本，主要修复 SYCL 后端 CONV 2D 算子在非连续输入下因按连续 [W,H,C,N] 布局索引而静默产生错误结果的问题，通过按 CUDA 后端约定对 input 与 kernel 的连续性做门控并断言。同时为 SYCL 后端新增 CWHN 通道顺序布局的 CONV 2D 计算支持，使相关 test-backe
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3304 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月22日周四 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11814：新增 clean spaces GGUF 键
llama.cpp 发布 b11814 版本，主要变更是为 vocab 增加 clean spaces GGUF 键（#30940）。该版本同步提供 macOS/iOS、Linux（含 CUDA、ROCm、Vulkan、SYCL、OpenVINO 等后端）、Android、Windows 及 UI 的预编译包。此次更新属于构建与词表元数据层面的小改动，对普通
正文结构化主题已通过公开置信门槛
蚂蚁数科发布决策模型 LingDT-Decision-1.0，准确率超微软等模型
10月22日，蚂蚁数科发布决策模型 LingDT-Decision-1.0，提供 4B 和 27B 两个版本，已在 DTMaaS 平台上线并限时免费体验。该模型专为结构化决策任务设计，在客服、风控、金融等场景测试中相比大语言模型 Token 消耗降低超 90%、响应时效提升 10 倍，并首创原生多选与按序决策（DAG）能力。在 23 项开源评测基准中，其 2
正文结构化主题已通过公开置信门槛
llama.cpp b11813：Pixtral 改用 Tekken 预分词器
llama.cpp 发布 b11813 版本，主要变更是词表处理：pixtral 模型改用 Tekken 预分词器，替代原先的 Llama 3 预分词器（PR #30960）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 及
正文结构化主题已通过公开置信门槛
AI 推理的隐性存储账单：后端数据远超输出
MIT Technology Review AI 刊文指出，AI 推理的存储成本常被忽视：WD 测量发现，一段 8 秒、用户可见仅 3.97MB 的 720p AI 视频，后端会留下超过 500MB 的日志、缓存、渲染、备份与安全记录等数据，放大约 130 倍。WD 委托 IDC 对 763 名 IT 与业务决策者的调查显示，近 95% 受访者称过去 12
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11812：为 granite 模型记录层输入
llama.cpp 发布 b11812 版本，主要变更为为所有 granite 模型记录层输入（#30957），该改动位于 GraniteSpeculatorSupport 分支，由 IBM 的 Gabe Goodhart 提交，并标注为全程使用 Claude + Sonnet 5.5 辅助完成。发布同时提供 macOS/iOS、Linux、Android、
正文结构化主题已通过公开置信门槛
llama.cpp b11806：LoRA 支持 prism.hadamard 折叠权重
llama.cpp 发布 b11806 版本，主要变更是 LoRA 支持 prism.hadamard 折叠权重（PR #30910），同时从 test-llama-archs 中移除了 LoRA 测试。该版本照例提供 macOS/iOS、Linux、Android、Windows 等多平台多后端（CUDA、Vulkan、ROCm、SYCL、OpenVINO
正文结构化主题已通过公开置信门槛
欧洲金融机构采用开放模型构建专有智能
在柏林 GTC 上，Revolut、Starling Bank、Lloyds、NatWest、Santander、Stripe、HSBC 等欧洲金融机构展示了基于 NVIDIA 加速计算和开放权重模型构建的生产级智能系统。Revolut 基于单一基础模型 PRAGMA 重建技术栈，初期服务 8000 万客户；bunq 的智能助手 Finn 以领先闭源模型 6
正文结构化主题已通过公开置信门槛
NVIDIA Cosmos 扩展世界模型训练、评估与部署工具
NVIDIA 扩展 Cosmos 平台，新增训练工具、仿真检查点和 Cosmos Data Factory 蓝图，帮助开发者构建用于物理 AI 的世界模型。Cosmos 在六个开放模型排行榜上进入前五，并提供数据整理、合成数据生成、模型微调与优化、NIM 微服务部署等能力。Porsche、ANYbotics、Ultralytics、ADNOC 等公司已用其加
正文结构化主题已通过公开置信门槛
NVIDIA 开放模型与物理智能改造欧洲零售
NVIDIA 博客介绍了欧洲零售商利用开放模型和物理智能的多个案例：Shopify 后训练 Nemotron 3.5 Lightning 用于 Sidekick 的 GraphQL 子代理，在内部基准上准确率超过前沿模型，服务成本降低 90%、响应速度提升 7 倍；Zooplus 用 Nemotron Retriever 构建语义搜索原型，搜索准确率达 86
正文结构化主题已通过公开置信门槛
PAW-27B-X3.1-GGUF：Qwen3.8-27B 量化版发布
开发者 lackonendes 在 Hugging Face 发布 PAW-27B-X3.1-GGUF，这是对 Qwen/Qwen3.8-27B 的量化版本更新，采用 trellis-codec 与 PAW 方案，可在单张 RTX 3090（24GB 显存）上以 262,144 token 全上下文运行，生成速度约 129 tok/s。相比前代 X3，相同文
正文结构化主题已通过公开置信门槛
audio.cpp 发布多款语音模型 GGUF 量化包
Hugging Face 上发布了 audio-cpp/audio.cpp-gguf 仓库，将多个语音模型（涵盖 TTS、ASR、语音转换、音频生成、说话人分离等）转换为 audio.cpp 原生 GGUF 格式并量化。仓库列出了各模型对应的 audio.cpp family、提供的 GGUF 精度（如 BF16、Q8、F32）及原始许可证，供 audio.
正文结构化主题已通过公开置信门槛
SpecEvo：多LLM推测进化实现低成本科学发现
研究团队提出 SpecEvo 多 LLM 进化框架，通过轻量模型并行探索、顾问模型整合搜索证据、前沿模型在稀疏检查点进行策略干预的「推测-整合」流程，在 176 个科学发现任务上匹配或超越前沿模型基线，API 成本最高降低 80%，并在方程发现任务上提升评估效率、较最强 CO-Bench 基线提升 3.8%。
正文结构化主题已通过公开置信门槛
Gemma 4 语音编码器冻结权重下的沙特与海湾阿拉伯语识别
该研究探索在不改变 Gemma 4 共享的 305M 参数语音编码器权重的前提下，将其用于沙特与海湾阿拉伯语语音识别。冻结系统仅训练 22.6M 参数的 CTC 读取器，适配系统额外加入 3.1M 低秩适配器与 41.5M 混合 CTC/注意力读取器。结果显示冻结系统在字符错误率上与 2.07B 参数的 Cohere Transcribe Arabic 在六
正文结构化主题已通过公开置信门槛
ReGen：基于引导式 token 细化的可控生成式推荐
该论文提出 ReGen 框架，将生成式推荐从自回归逐 token 解码改为并行迭代细化（掩码填充），使推理时可直接对高层语义 token 施加控制信号而无需重训练。为应对激进 logit 干预导致的无效物品问题，引入拓扑约束树与置信度感知细化，在 beam 推理中强制合法码本路径。实验显示 ReGen 在适度引导下取得更优的准确率-多样性权衡，并保持生成 S
正文结构化主题已通过公开置信门槛
KVLearn：分离式LLM推理中的学习型KV缓存保留
加州大学洛杉矶分校与哥伦比亚大学的研究者提出 KVLearn，一个面向分离式（prefill/decode 分池）LLM 推理系统的学习型 KV 缓存保留框架。它由前缀复用预测器（PRP）、成本感知保留评分（CARS）和自适应阈值控制器（ATC）三部分组成，把 keep/evict 决策建模为成本优化问题，综合考虑重算、网络传输与存储开销。在文本和多模态负载
正文结构化主题已通过公开置信门槛
基于数字孪生与上下文记忆的复杂度感知手术视频推理分割
研究者提出 SurgReasonSeg，一种面向手术视频的复杂度感知推理分割方法：它基于手术基础模型构建数字孪生（DT）表示，并用强化学习训练同一大语言模型的两个 LoRA 适配器，分别处理不同复杂度的查询，再由同样用强化学习训练的轻量路由器在延迟与精度之间做选择。该方法还引入自适应滑动窗口和手术上下文记忆，按工作流相似度检索历史病例。作者同时发布 Endo
正文结构化主题已通过公开置信门槛
Unsloth 发布 Qwen3-ASR-0.6B GGUF 量化版
Unsloth AI 在 Hugging Face 发布了 Qwen3-ASR-0.6B 的 GGUF 量化版本，基于阿里 Qwen 的 Qwen3-ASR-0.6B 语音识别模型。该系列支持 30 种语言和 22 种中文方言的语种识别与转写，0.6B 版本在并发 128 时吞吐达 2000 倍，并支持流式与离线统一推理。发布方还提供基于 vLLM 的完整推
正文结构化主题已通过公开置信门槛
面向智能体的缓存工程：AKV 直接管理 KV 缓存
该论文提出「缓存工程」（cache engineering）新方案，让 LLM 智能体直接管理自身的 KV 缓存，通过 drop 和 repos 操作在不修改轨迹、不重新预填充的前提下控制活跃缓存增长。作者指出相同 token 序列在不同缓存操作序列下会产生不同缓存状态，因此共同设计了 AKV 服务引擎，提供无状态接口并内部管理有状态缓存复用、驱逐与恢复。实
正文结构化主题已通过公开置信门槛
Cerebras 如何用 59 块晶圆部署 3 万亿参数 Kimi K3
Cerebras 在博客中说明如何将万亿参数级前沿模型部署在其晶圆级芯片 WSE-3T 上。以约 3 万亿参数的开源模型 Kimi K3 为例，团队按层类型将模型切分到多块晶圆：线性注意力层每片放两层、稠密层每片放一层并预留 KV cache，共需 59 块晶圆。晶圆间仅传递激活值，通过 RDMA over Ethernet 连接，每跳约 2 微秒，并以流水