llama.cpp 新增决策模型与 /v1/systemone 端点
llama.cpp 新增 /v1/systemone 端点，支持决策模型（Decision Models）。这类模型不生成文本，而是对给定选项打分并返回概率，单次前向传播即可完成，适用于请求路由、内容审核、Agent 步骤校验等场景。官方同时列出 Julia-1、Laya、Kev-4B、lev、OpenJev 等开源模型，其中 OpenJev 支持图像输入，
部署工程
技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条
只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。
10月3日周六 · 3 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Security-SLM：基于 Gemma 4 E2B 的本地网络安全微调模型
Hugging Face 上发布了 Security-SLM-Gemma-4-E2B-it-GGUF，这是一个基于 Gemma 4 E2B Instruct 用 LoRA rank 16 微调、以 GGUF Q4 K M 格式分发的网络安全助手模型，可在本地通过 Ollama 等离线运行，面向红队、蓝队和 SOC 场景。模型使用 505 样本的 agenti
正文结构化主题已通过公开置信门槛
GPT-6 系列模型选择与生产部署指南
OpenAI 发布 GPT-6 系列模型指南，介绍初创公司如何选择 GPT-6 模型、调整推理强度、改进提示词与技能、协调工具，并为生产环境准备相关工作流。
10月2日周五 · 17 条
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11349：Vulkan 编译问题新增日志
llama.cpp 发布 b11349 版本，主要变更为在 Vulkan 后端为 pipeline 编译问题添加日志输出（#29794）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新属于常规构建发布，主要提升
正文结构化主题已通过公开置信门槛
Uber Eats 重建搜索流水线，端到端延迟降低 50%
Uber 重建了 Uber Eats 搜索流水线，端到端搜索延迟降低 50%。改动覆盖检索、特征填充、排序、广告、展示和基础设施，并借助 agentic 编码工作流识别、基准测试和验证优化项。Uber 还改用 Above-the-Fold 完成时间作为主要延迟指标，并探索端到端微批处理、基于产品的检索、Zero Pass Ranking 和 HTTP 多部分
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11346：修复 qwen4exp 测试
llama.cpp 发布 b11346 版本，主要修复了 qwen4exp 相关的测试（PR #29819）。该版本同步提供 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。
正文结构化主题已通过公开置信门槛
MBZUAI-IFM 发布 K2-Horizon-MoVA-36B-A4B GGUF 量化版
MBZUAI-IFM 在 Hugging Face 发布了 K2-Horizon-MoVA-36B-A4B 的 GGUF 量化版本，供 llama.cpp 使用，包含 BF16、Q8 0、Q6 K、Q5 K M、Q5 0、Q4 K M 等多种精度。该模型是 K2-Horizon 系列的稀疏 MoE 成员，采用 Mixture-of-Values 注意力，总参
正文结构化主题已通过公开置信门槛
llama.cpp b11345：Hexagon 后端新增 q2 k/q3 k 量化支持
llama.cpp 发布 b11345 版本，主要变更是为 Hexagon 后端新增 q2 k 和 q3 k 两种量化类型的支持，并统一了 src1 row size 的分配逻辑，该改动由高通工程师 Max Krasnyansky 参与提交。同时该版本照例提供 macOS、Linux、Windows、Android 等多平台多后端的预编译二进制包。
正文结构化主题已通过公开置信门槛
NVIDIA 推出 64GB 版 DGX Spark，支持本地 AI 开发与集群扩展
NVIDIA 宣布本月推出 64GB 统一内存版 DGX Spark，由 Acer、ASUS、Dell、Gigabyte、HP 和 MSI 等厂商发售，起售价 4,999 美元，10 月 23 日上市。该设备搭载 GB10 Grace Blackwell 超级芯片、DGX OS 和完整 NVIDIA AI 软件栈，支持最高 1000 亿参数模型本地运行。两台
正文结构化主题已通过公开置信门槛
Laya AI 模型：工作原理、本地运行与评估指南
Convai Innovations 发布开源权重、非自回归决策模型家族 Laya，输入为状态加若干类型化问题，输出带概率信息的答案对象，采用 Apache 2.0 许可并支持本地推理。英文检查点基于 ModernBERT-large（约 4.21 亿参数），多语言检查点基于 mmBERT，提供 Router 在检查点间选择。文章强调其概率需在自有任务上校准
正文结构化主题已通过公开置信门槛
Langfuse 发布 v4.50.0：增强评估功能与界面修复
Langfuse 发布 v4.50.0 版本，主要更新集中在评估（evals）功能与 Web 界面体验。新增 facet 类型、内置保护与规则空闲时间，并在评估器状态中展示七日执行健康度；同时修复了评估器模型校验、元数据 JSONPath 显示、API 元数据类型等问题，并升级了 piscina 与 next 依赖。
正文结构化主题已通过公开置信门槛
QCon 旧金山 2026：Agent 时代的生产系统工程实践
QCon 旧金山 2026 大会将于 11 月 16-20 日举行，汇集 Airbnb、OpenAI、Netflix、Honeycomb 等公司的工程师，分享在生产系统中落地 AI agent 的实践经验。议题涵盖 Airbnb 客服 agent 的防护措施、OpenAI 用编码 agent 六周内打造年收入超 1 亿美元产品的经验、Netflix 分布式键
正文结构化主题已通过公开置信门槛
llama.cpp b11344 发布：修复 Volta FA 用例
llama.cpp 发布 b11344 版本，主要修复了 CUDA 后端中两个损坏的 Volta 架构 Flash Attention 用例（PR #29803）。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 的多平台预编译二进制包，涵盖 CUDA、Vulkan、ROCm、SYCL、OpenVIN
正文结构化主题已通过公开置信门槛
openJiuwen首发X-Router自演进模型路由，实测降本44.6%
openJiuwen团队发布X-Router自演进模型路由技术，在Agent与模型之间增加智能决策层，基于任务复杂度动态选择最优模型。该系统采用三层架构：模型能力画像、多目标路由决策、反馈驱动的自演进，算法与状态解耦。在PinchBench全量147个任务实测中，开启Bandit自演进后得分70.70%接近全云基线71.36%，而模型调用成本从$11.11降
正文结构化主题已通过公开置信门槛
Ray 2.59.0 发布：LLM API 转正，新增外部 shuffle 与默认 token 认证
Ray 发布 2.59.0 版本，Ray Data LLM 与 Ray Serve LLM 正式 GA/稳定，并升级至 vLLM 0.27.0。Ray Data 引入外部磁盘 shuffle（shuffle v2）及 Join/Aggregation 支持，新增 ORC、多路径 Lance、视频读取参数等数据源能力。安全方面，本地集群默认启用 token 认
正文结构化主题已通过公开置信门槛
llama.cpp 发布 b11342：修复符号链接缓存目录创建问题
llama.cpp 发布 b11342 版本，主要修复了在存在缺陷的 libstdc++ 环境下通过符号链接创建缓存目录的问题（对应 GCC bug 101510），由 Adrien Gallouët 提交。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制包，涵盖 CUDA、Vulkan、ROCm、SYCL、Ope
正文结构化主题已通过公开置信门槛
llama.cpp b11339 修复 kpool 重池化边界越界
llama.cpp 发布 b11339 版本，修复了 kpool 重新池化边界问题：当批次填满整个缓存时，n tokens/kpool + n seqs unq 的边界会超出 n pool real，导致首次全上下文解码构建的图张量大于预留空间，在 GGML SCHED DEBUG REALLOC=1 下触发图重分配中止。修复方式是将边界钳制到 n pool
正文结构化主题已通过公开置信门槛
llama.cpp b11338：Hexagon 后端 DMA 优化 CPY 与 CONCAT
llama.cpp 发布 b11338 版本，主要针对 Hexagon 后端优化了 CPY 和 CONCAT 操作，引入共享的跨步 DMA 拷贝，并支持通过 DMA 实现任意维度的 CONCAT。提交由高通工程师 Max Krasnyansky 参与，同时修复了 64 位 DMA 下失效的 CONCAT DMA MIN ROW 逻辑并补充了 dma queu
正文结构化主题已通过公开置信门槛
微任务资格差距：现成SLM何时足以支撑Agent Harness？
该研究构建了一个包含4个agent harness微任务（shell命令自动批准、记忆召回、记忆写入决策、工具选择）的冻结基准，以非LLM基线为锚并采用CI感知的资格规则，测试Qwen3 0.6B-8B和Llama-3.x等现成SLM。结果显示16个（任务×模型）配置无一通过资格阈值，量化到4-bit也不能使任何配置达标，差距更多与模型规模而非精度相关。作者
正文结构化主题已通过公开置信门槛
首个token并非判决：不生成直接读取LLM评判的隐藏代价
该论文研究从LLM评判模型首个生成token的logits直接读取判决（即强制读取）的做法，发现这种廉价方法会系统性高估位置偏差，因为评判模型并非总以判决token开头。在Qwen3、Llama-3.1-8B和Phi-3.5-mini等模型及JudgeBench、LLMBar基准上，强制读取在评判模型未主动给出判决时返回的是先展示的响应而非真实判断，导致位置