llama.cpp b11316：Metal 后端 mxfp4 矩阵乘法改用 bf16 计算
llama.cpp 发布 b11316 版本，主要变更是 Metal 后端在 mxfp4 矩阵乘法中使用 bf16 数学计算（PR #29770）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制，包含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月1日周四 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
llama.cpp b11313：为 qwen4exp 重新启用 -sm tensor
llama.cpp 发布 b11313 版本，重新为 qwen4exp 启用了 -sm tensor 选项。此前 #27941 因 test-llama-archs 在 Meta 设备上触发 GGML ASSERT 而禁用了该选项。本次修复通过在 hc init 构建后立即展开它，使 REPEAT 节点直接位于首个设备节点之前，从而让调度器正确分配设备，em
正文结构化主题已通过公开置信门槛
TypeSafe AI 发布 Jev：返回类型化概率而非文本的决策模型
旧金山 AI 实验室 TypeSafe AI 发布 Jev，这是其所谓 System One Models 的首个模型，不生成文本，而是返回带类型的概率化决策（Choice、Score、Noul），供软件直接使用。Jev 单次并行评估所有问题，输入每百万 token 收费 0.042 美元、输出免费，上下文窗口 32,000 token，端到端延迟 70ms
正文结构化主题已通过公开置信门槛
Gemini 4 Argon 发布：13/19 基准 SOTA，支持 100 万输出 token
Google DeepMind 发布 Gemini 4 Argon，在 19 项基准中的 13 项取得 SOTA，并首次实现 100 万 token 输出上限（通过 Long Decode Continuation API 功能）。目前仅面向政府用户和 Fairwind 计划中的可信网络安全防御者开放预览，定价为每百万输入/输出 token 4/20 美元，
正文结构化主题已通过公开置信门槛
从独立到社会学习：刻画LLM的递归社会改进
该论文提出「递归社会改进」概念，研究多个自利 LLM 智能体在各自追求自身奖励、共享同一 token 预算的情况下，能否通过互相复制和修订技能文件来提升整个群体的表现。在受控环境中，传统社会学习算法能从同伴获益，但测试的三个 LLM 反而比单独学习效率低 30–52%，探索过窄或 token 耗尽。让模型自行编写和修订技能后，观察同伴能改变改进方式，但同等成
正文结构化主题已通过公开置信门槛
AREX-2：通过长时程反思任务推进自我改进智能体
该论文提出 AREX-2，旨在提升 LLM 智能体的自我改进能力，即测试时通过多轮迭代优化解决方案。研究基于 Qwen3.8-27B 构建智能体，利用机器学习工程和算法编程任务合成长期反思轨迹进行训练。在 MLE-bench Lite 上达到 81.8，Frontier-CS 上 70.7，并迁移至深度研究任务，在 BrowseComp、HLE、GAIA、D
正文结构化主题已通过公开置信门槛
Sieve and Sage：面向可靠RALM弃答的高效分心过滤
该论文提出Sieve and Sage两阶段框架，用于提升检索增强语言模型（RALM）的弃答可靠性。作者将检索失败分解为「不可答状态」和「分心状态」，前者指缺乏必要证据，后者指相关证据与冲突、否定或对抗性信息混杂。框架用轻量级BERT分类器（Sieve）在调用昂贵LLM（Sage）前筛除分心证据，在通用和高风险专家领域评测中，系统准确率最高提升69.4个百分
正文结构化主题已通过公开置信门槛
FD-VAD：面向流式全双工语音的语义端点检测
论文提出 FD-VAD，一种无需 ASR 的流式语义端点检测方法，用于全双工语音交互。它将语义端点检测建模为因果音频-语言推理任务，把有界因果音频窗口直接映射为 Continue/Stop 决策，结合冻结语音编码器、轻量模态适配器和参数高效微调的语言模型，并采用 last-chunk 训练目标。方法还引入置信度门控端点提交与边界聚焦难负样本采样，在域内和对话
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11312：修复 WebGPU SSM SCAN 绑定别名
llama.cpp 发布 b11312 版本，主要修复了 WebGPU 后端中 SSM SCAN 的绑定别名问题（#29750）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11311：ggml-opencl 用 std::vector 替换 alloca()
llama.cpp 发布 b11311 版本，主要变更是将 ggml-opencl 后端中的 alloca() 替换为 std::vector，由 Adrien Gallouët 提交。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、S
正文结构化主题已通过公开置信门槛
Viggle 发布 Qwen-Image-2.1 少步蒸馏 LoRA v0.2.1
Viggle 在 Hugging Face 上发布了 Qwen-Image-2.1-viggle-turbo v0.2.1，这是基于 Qwen/Qwen-Image-2.1 的少步蒸馏 LoRA 适配器，采用分布匹配蒸馏（DMD）训练。它支持文生图和指令驱动编辑，仅需 6 次 transformer 前向（而非基座的 40 步）且无需无分类器引导，端到端约快
正文结构化主题已通过公开置信门槛
llama.cpp b11310 修复 CUDA iq4 nl 反量化越界
llama.cpp 发布 b11310 版本，修复了 CUDA 后端中 iq4 nl 反量化行内核的越界问题。当行长度短于 QK K 时，起始位置超出行尾的线程会读写越界，新代码通过跳过这些子块来避免内存越界，对 QK K 整数倍的行无影响。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译包。
正文结构化主题已通过公开置信门槛
llama.cpp b11309：优化 Hexagon ALLREDUCE 并支持 safe scatter
llama.cpp 发布 b11309 版本，主要针对 Hexagon NPU 后端优化了 ALLREDUCE 集合通信操作，新增对 safe scatter 模式的支持，并重写实现以消除寄存器溢出。该改动由高通工程师 Max Krasnyansky 参与贡献，旨在提升骁龙平台（Hexagon NPU）上多设备推理的通信效率。版本同时提供覆盖 macOS、L
正文结构化主题已通过公开置信门槛
OpenThai-SystemOne：泰英双语 System One 决策模型
Hugging Face 上发布了 iapp/OpenThai-SystemOne，一个基于 Qwen3.5-0.8B-Base 的泰语+英语「System One」决策模型，采用 Apache-2.0 许可。该模型不生成文本，而是在一次前向传播中对给定状态和问题返回校准后的选项概率，支持 choice、score、noul 三类问题，可用于工单路由、内容审
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11308：修复 CLI 下载 mmproj 参数
llama.cpp 发布 b11308 版本，修复了命令行下载 mmproj 参数的问题，并为此新增了参数解析测试。该版本同时提供覆盖 macOS、iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
正文结构化主题已通过公开置信门槛
llama.cpp b11307：修复推测解码层输入批次顺序
llama.cpp 发布 b11307 版本，核心改动是修复推测解码（speculative decoding）中层输入（layer inputs）的批次顺序问题，保留原始批次顺序，并恢复未掩码 NextN 嵌入的 token 顺序。改动同时兼容 tensor split，并覆盖多种 KV 布局与 CUDA 设备的回归测试。该版本提供 macOS、Linux
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11306：测试切换 causal attn 捕获图形状变化
llama.cpp 发布 b11306 版本，主要更新是 test-llama-archs 测试中切换 causal attn 标志以捕获图结构变化，用于检测依赖该标志的图形状在 GGML SCHED NO REALLOC 下导致的重新分配中止问题，编码类架构跳过该测试。同时提供 macOS、Linux、Windows、Android 等多平台多后端的预编译
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11304：修复训练中 KV 处理
llama.cpp 发布 b11304 版本，主要修复了训练过程中 KV 缓存的处理问题（PR #28520）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11303：示例迁移至 llama batch ext
llama.cpp 发布 b11303 版本，主要变更是将剩余示例迁移到 llama batch ext，并新增线程安全测试、移除 common batch staged。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。
正文结构化主题已通过公开置信门槛
Dwarkesh 错在哪：OpenAI 一周内克隆 Jev 竞品
Latent Space 播客在 OpenAI DevDay 后采访了 OpenAI 计算机使用（Computer Use）负责人 Ari Weinstein 和 API 团队 Nikunj Handa。Ari 表示 Computer Use 相比几个月前已“180 度不同”，代理能自我调试并从失败中恢复，结合截图、无障碍树、DOM、Playwright 与