从物品分数到语义Token：生成式推荐的测试时协同适配
论文提出 TCBSA（Test-Time Collaborative Beam Search Adaptation），一种无需训练的方法，将独立训练的判别式推荐器给出的物品级协同分数，转化为语义前缀共享边上的势能，并通过置信度门控在 beam 选择前调节其对路径累积分数的贡献。该方法旨在解决生成式推荐中 beam search 过早剪枝新兴兴趣路径的问题，在
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3303 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月26日周一 · 17 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
异构多智能体系统统一提示-模型联合优化框架 UniMASO
该论文提出 UniMASO，一个面向异构 LLM 多智能体系统的统一优化框架，联合调整各智能体的提示词与执行模型分配，而非像以往工作那样固定其中一项。方法通过局部、下游与全局反馈评估候选更新，结合成本感知的帕累托搜索与拓扑感知协同演化，并用跨层轨迹记忆指导后续搜索。在五个基准和五种执行拓扑上，UniMASO 在集中式执行下将平均分从 69.79 提升至 70
正文结构化主题已通过公开置信门槛
DirCast：单流式视频语言模型实现电竞直播导播与解说
来自Alaya Lab、东京大学、佐治亚理工学院、北京大学和东京科学研究所的研究者提出DirCast，一个单一流式视频语言模型，能同时完成电竞直播的导播（每秒决定切换哪个选手镜头）和实时解说，且仅依赖过去信息。团队构建了27场Dota 2职业比赛数据集（含每位英雄镜头、人类导播选择和解说词）。实验显示DirCast导播优于规则和零样本导播（包括GPT-5），
正文结构化主题已通过公开置信门槛
Solstice-AI 发布 DeepSeek-V4.1-Flash 去审查 GGUF 量化版
Solstice-AI 在 Hugging Face 发布了 DeepSeek-V4.1-Flash-UNCENSORED-Protium-GGUF，这是基于 DeepSeek-V4.1-Flash 的去审查（uncensored/dealigned）GGUF 量化版本，采用 Protium-1.0 认知架构，并集成推测解码 DSpark Drafter、1
正文结构化主题已通过公开置信门槛
Omni-Woodpecker：通过证据-先验重平衡纠正全模态大模型幻觉
研究者提出 Omni-Woodpecker（OWP），一个无需训练的框架，用于减少全模态大模型（OLLMs）中的跨模态幻觉。该方法先识别跨模态冲突，再通过正交分解将隐藏状态中的 grounding 证据与误导性先验分离，并在解码前自适应重平衡融合表示。以 Qwen2.5-Omni-7B 为骨干，OWP 在 CMM 和 AVHBench 上分别提升 12.9
正文结构化主题已通过公开置信门槛
AgentionAI 发布 Qwen3.8-Flash-Next AP GGUF 量化版
AgentionAI 在 Hugging Face 发布了 Qwen3.8-Flash-Next 的 Agention Precision（AP）GGUF 量化版本，兼容主线 llama.cpp，无需 fork。该版本按张量组混合量化类型，并公布各档位在留出语料上的 KL 散度和 top-1 一致率；其中 AP-Q5 K M 在同等显存下与 unsloth
正文结构化主题已通过公开置信门槛
llama.cpp b11889：CUDA 后端用 std::string 替换 VLA
llama.cpp 发布 b11889 版本，主要变更是 CUDA 后端将 archName 的变长数组（VLA）替换为 std::string，以现代化代码并消除 Clang 的 -Wvla-cxx-extension 警告。该改动由 Hugging Face 的 Adrien Gallouët 提交，属于代码质量与可移植性改进，不涉及功能或性能变化。同时
正文结构化主题已通过公开置信门槛
llama.cpp b11888：语法解析加递归深度限制并优化候选拒绝
llama.cpp 发布 b11888 版本，为语法（grammar）解析与 PEG 解析器加入递归深度限制，并将其设为强制要求。同时重写了 llama grammar reject candidates for stack 的候选拒绝逻辑，改为基于索引的迭代实现，消除了此前因按码点计数导致 256 字符以上 token（如 GLM-4.7-Flash 的
正文结构化主题已通过公开置信门槛
ISTA-DASLab发布DeepSeek-V4.1-Flash-1017 GSQ-RCO GGUF量化版
奥地利ISTA的DASLab团队发布了DeepSeek-V4.1-Flash-1017的GGUF非均匀量化版本，采用GSQ（Gumbel-Softmax量化）与RCO（黎曼约束优化）方法，按张量敏感度分配精度。该模型为763B参数、384专家的MoE，提供IQ1 M、IQ2 XXS、IQ2 XS三种规格，其中IQ2 XXS在AIME25、GPQA-Diamo
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11887：调整测试默认线程数
llama.cpp 发布构建版本 b11887，主要变更是调整 test-llama-context 测试的默认线程数（#31157）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端，并附有构建证明链接。
正文结构化主题已通过公开置信门槛
llama.cpp b11883 修复 4D 张量量化与 MoE 专家检测
llama.cpp 发布 b11883 版本，修复了 llama-quant 工具对 4D 张量的量化问题：此前 nrows total 只按 ne[1] ne[2] 计算，导致 4D 张量仅前 ne[2] 个切片被量化、其余行被丢弃，现改用 ggml nrows() 统计全部行。同时将 MoE 专家张量检测从依赖 ne[2] 1 改为按张量名（ exps/
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11882：限制 grammar 递归深度防栈溢出
llama.cpp 发布 b11882 版本，主要修复了 grammar 解析中的递归深度限制问题，以防止栈溢出（对应 PR #29495、#29755）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种
正文结构化主题已通过公开置信门槛
Ornith-1.5-9B 发布 GSQ-RCO 混合精度 GGUF 量化版
开发者 abenzerps 在 Hugging Face 发布了 Ornith-1.5-9B 的 GSQ-RCO 混合精度 GGUF 量化版本，面向 llama.cpp 本地推理，支持最长 262K token 上下文。该方案针对混合 SSM-Transformer 模型在标准量化下性能严重退化的问题，通过将 48 个关键 SSM 参数保留为 BF16（RC
正文结构化主题已通过公开置信门槛
110台智元远征A3人形机器人同台群舞创吉尼斯纪录
智元在济南黄河国际会展中心组织110台远征A3人形机器人完成11×10方阵群舞，创下吉尼斯世界纪录“最多人形机器人同时群舞”。挑战依赖自研LinkBots群控调度系统、UWB厘米级融合定位和5G/WiFi双模通信，实现毫秒级动作同步与队形切换。挑战结束后，这批机器人将进入地铁站、景区等场景承担导引、巡逻和演出任务，体现人形机器人从开发态向部署态推进。
正文结构化主题已通过公开置信门槛
Google 开源 ML Drift 跨平台 GPU 推理引擎
Google 开源了跨平台 GPU 计算引擎 ML Drift，采用 Apache 2.0 许可，支持 OpenGL ES、OpenCL、Metal 和 WebGPU，用于设备端 AI 推理。它是 LiteRT 的核心 GPU 加速引擎，通过统一着色器、五维张量和硬件特定优化简化多 GPU 硬件适配。Google 称其在 Gemma 模型上内存开销比 lla
正文结构化主题已通过公开置信门槛
llama.cpp b11881：内存缓存全面遵循 no alloc
llama.cpp 发布 b11881 版本，主要修正在所有内存缓存中遵循 no alloc 参数的行为，并留下将 no alloc 移出 llama hparams 的待办事项。该改动由 AI 辅助完成，测试环境为 Mac Studio（M2 Ultra，192GB）上的 DeepSeek-V4-Flash-Vision-Exp-GGUF 模型。发布同时提
正文结构化主题已通过公开置信门槛
llama.cpp b11879：CUDA MMQ 融合 FFN gate/up 与 GLU
llama.cpp 发布 b11879 版本，在 CUDA 后端为 MMQ 量化矩阵乘实现 FFN gate/up 矩阵乘与 GLU 的融合：通过将 gate 与 up 权重行按 8 行交错排布，使一次 mul mat q 启动即可完成两个矩阵乘并在写回时计算 GLU。该优化面向 prompt 处理阶段，支持 Q4 K、Q5 K、Q6 K、Q8 0 和 IQ
10月25日周日 · 3 条
正文结构化主题已通过公开置信门槛
llama.cpp b11878：CUDA 融合 Qwen MRoPE 与 set-rows
llama.cpp 发布 b11878 版本，核心变更是 ggml-cuda 后端将 Qwen 的 MRoPE 与 set-rows 操作融合（PR #31025），以减少 CUDA 上的算子开销。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后
正文结构化主题已通过公开置信门槛
llama.cpp b11877：Vulkan 为 conv3d 增加更大 tile size
llama.cpp 发布 b11877 版本，主要变更为 Vulkan 后端为 conv3d 增加更大的 tile size，该优化仅适用于 coopmat2 且不需要共享内存存储输出的场景，并仅对较新驱动版本生效。同时新增了一些具有代表性的后端测试，据提交说明这些测试由 codex 参考 sd.cpp 的 Wan VAE 生成。该版本还提供了覆盖 macO
正文结构化主题已通过公开置信门槛
llama.cpp b11876：修复 Vulkan 小矩阵 tile 的 warp 划分
llama.cpp 发布 b11876 版本，修复了 Vulkan 后端小矩阵乘法 tile 的 warp tile 划分问题：此前小 tile 的 WM 固定为 32（8 宽子组时为 8），未随 tile 的 BLOCK SIZE 与 WARP 变化，导致 16 宽子组（Mali）时工作组第二个子组写入下一 tile 的列、8 宽子组时部分 id tile