返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

10月2日周五 · 20 条
正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

委派危险带：中等能力子智能体为何过度信任继承的陈旧状态

该研究提出并测量了智能体框架中子智能体继承父智能体完整上下文时的「委派危险带」现象。作者在Qwen3 0.6B至8B同族模型阶梯上对比Reset、Selective、Full三种继承策略，发现对已被推翻的陈旧状态的盲从随能力提升而急剧下降，但净继承危害呈非单调模式：中等能力模型（Qwen3-1.7B）是统计显著的局部最差点，形成危险带。精选式交接（Selec

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

分布式智能体无人机集群的上下文与通信管理

该论文提出一种全分布式无人机集群架构，每架无人机搭载独立的小语言模型（SLM）智能体、上下文管理器和兴趣感知 Gossip 引擎，通过事件驱动的 reason-act-observe 生命周期实现本地持续控制。运行时知识被表示为结构化原子笔记，并组织为核心、本地和同伴专属记忆，由确定性兴趣感知 Gossip 引擎根据接收方语义新颖性和时效性选择性传播。在十架

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

设备端商业意图检索：3 MiB系统与类型化出口边界

该论文研究在设备端进行商业意图检索的可行性，在3 MiB下载体积、20毫秒内推理且不上传原始文本、嵌入或稳定标识符的约束下，构建了基于4比特量化静态嵌入表的检索系统，并测试了联邦学习层。实验显示，在真实韩语商品文本上，当查询包含叶子类目名称时准确率较高，仅含品牌和型号时准确率下降约20个百分点；通过任务适配微调教师模型可部分弥补差距，且设备端可根据排序分数边

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

面向 LLM 的快速多项式超越函数

该论文研究用短多项式程序替代 LLM 中 sigmoid、tanh、SiLU 等超越函数，以缓解 GPU 上 SFU 与矩阵/内存管线扩展不均衡造成的瓶颈。作者在 GB200 上对四个集成任务（dense SiLU、tanh-softcapped attention、sigmoid attention、routed-expert SwiGLU）用 BF16

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

端侧命名实体识别：准确率、成本、可靠性与置信度的可部署性研究

该研究针对端侧命名实体识别（NER）的可部署性展开系统评测，覆盖经典标注器、双向编码器（GLiNER）与本地生成式LLM（Qwen3、DeepSeek-R1）三类范式、13M至8B参数共九个系统，在三个特性不同的数据集上同时报告准确率、延迟与输出有效性。研究发现，4B指令LLM在干净新闻文本上准确率具竞争力，但编码器以九分之一至二十四分之一规模实现毫秒级延迟

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

语言模型生成彩票号码的重复集中现象研究

研究者在 arXiv 上发布论文，用 1-49 选 6 的彩票号码请求测试六种语言模型配置（gpt-5.6-luna、claude-sonnet-5、gemini-3.7-flash、grok-4.5、mistral-large、Perplexity sonar），共 1200 次调用中 1184 次返回有效号码。结果显示模型输出高度集中：有效多样性仅 9.

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11337 发布：无效 embedding 请求返回 HTTP 400

llama.cpp 发布 b11337 版本，主要变更是其 server 组件对无效的 embedding 请求返回 HTTP 400 状态码。该版本同时提供覆盖 macOS/iOS、Linux、Android、Windows 及 openEuler 等多平台的预编译二进制包，支持 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11335：CUDA 将 sm 70 路由至 Turing MMVQ 表

llama.cpp 发布 b11335 版本，其中 CUDA 后端将 Volta（sm 70）架构的 MMVQ 参数路由到 Turing 的 nwarps 表，使 K-quant 单批次解码在 nwarps=2 下运行。在 Tesla V100 32GB 上以 Qwen3.8-27B Q4 K M 测试，tg128 吞吐提升约 3.17%（+1.091 t/

正文结构化主题已通过公开置信门槛
PydanticAI Releases一手来源安全

PydanticAI v2.53.0：修复并发限流高危漏洞并新增多项功能

PydanticAI 发布 v2.53.0，修复了 ConcurrencyLimitedModel 中一个高危并发槽位泄漏漏洞（GHSA-6fqq-452j-qhrp），该漏洞在流式请求提前退出或取消时可能导致共享限流器的所有请求被阻塞。此版本还调整了限流器共享规则，并新增 ToolCallJudge、托管子代理、多个 CLAI2 插件及可观测性设置等特性。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11334：Metal 后端释放临时私有传输缓冲区

llama.cpp 发布 b11334 版本，主要变更是 Metal 后端释放临时私有传输缓冲区（PR #29777），由 Niklas Wenzel 提交，并注明借助 OpenAI Codex 协助。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台多后端的预编译二进制包。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11333：WebGPU 新增 bfloat16 支持

llama.cpp 发布 b11333 版本，主要变更为在 WebGPU 后端为 MUL MAT、MUL MAT ID 和 GET ROWS 算子增加 bfloat16 支持。该版本同时提供 macOS、Linux、Windows、Android 等多平台及 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端的预编译二进制包。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11332：修复循环内存无效断言

llama.cpp 发布 b11332 版本，主要修复了循环内存（recurrent memory）中的无效断言问题（PR #29799）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CPU、CUDA、Vulkan、ROCm、SYCL、OpenVINO 等多种后端。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Swift-1.5-Qwen3.8-27B 去审查 GGUF 量化模型发布

Hugging Face 用户 ajgazin 发布了 Swift-1.5-Qwen3.8-27B-Uncensored-Dynamic-MTP-GGUF，这是对 UkisAI 的 Swift 1.5 Qwen3.8-27B 推理高效微调模型进行 abliterated（去审查）后的 GGUF 量化版本。该模型提供 UD 与 RCO 两种量化布局，包含 MT

正文结构化主题已通过公开置信门槛
SGLang Releases一手来源开源

SGLang v0.5.21 发布：新增多模型支持与性能优化

SGLang 发布 v0.5.21 版本，包含来自 227 位贡献者的 779 个 PR。新增 DeepSeek-V4.1 Flash、GigaChat 3.5、MiMo-V2.6、DiffusionGemma、Qwen-Image 2.1 等十余个模型支持，并引入 PD 实例动态切换、Rust 前缀缓存、Decisions API 与 Score API

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11331：CUDA 路径支持 NVFP4 计算类型

llama.cpp 发布 b11331 版本，主要更新是在 CUDA 的 cuBLAS 路径上为 NVFP4 量化格式处理计算类型，并在硬件允许时对量化模型使用 BF16 计算类型，同时为 NVFP4 设置至少 BF16 范围的累加精度。该改动由 NVIDIA 工程师提交，并保留了 per-expert matmul 的 op params。版本同时提供 m

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源产品发布

DGX Spark手册：本地AI推理的实用指南

文章介绍了NVIDIA DGX Spark桌面AI设备，尽管其内存带宽较低（273 GB/s），但通过MoE架构和推测解码等技术，能够高效运行智能模型，并支持多台堆叠以提升内存和带宽。作者认为该设备适合个人或小家庭使用，功耗低、安静，但价格已从3999美元上涨至4699美元甚至更高。

正文结构化主题已通过公开置信门槛
Latent Space研究

MIT 的 Alex Zhang 谈 RLM、GPU 内核与智能体集群

Latent Space 播客专访 MIT 的 Alex Zhang，围绕其 GPU 内核、KernelBench、递归语言模型（RLM）以及多智能体集群等研究展开。访谈讨论了 AI 生成 GPU 内核仍离不开人类专家、RLM 的上下文卸载与递归子智能体机制、harness 作为组合泛化器，以及 OpenAI 万级智能体实验、Kimi 集群、Sakana A

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b11330 为 Qwen4Exp 添加 MTP 支持

llama.cpp 发布 b11330 版本，主要变更是为 Qwen4Exp 添加 MTP（多 token 预测）支持，由 Georgi Gerganov 等人提交（PR #29761）。改动包括移除 has state 成员、通过 ctx bufs 非空判断状态、统一命名并清理循环记忆相关代码与注释。该版本同时提供 macOS、Linux、Windows、

正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源产品发布

NVIDIA GPU 加速 OpenAI GPT-6 Astra Ultrafast

OpenAI 在 NVIDIA Blackwell GPU 上推出 GPT-6 Astra Ultrafast，现已通过 OpenAI API 以及面向符合条件的 ChatGPT Work 和 Codex 用户开放。该模式借助针对 Blackwell 架构的推理优化，token 生成速度最高可达 Astra Standard 模式的 8 倍，可缩短编码智能体

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp 发布 b11327：mtmd 限制非因果模型 max image

llama.cpp 发布 b11327 版本，主要变更是 mtmd 模块对非因果模型将 max image 限制为 ubatch（PR #29773）。该版本同时提供 macOS、iOS、Linux、Android、Windows 等多平台预编译二进制包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。