返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3311 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月16日周五 · 20 条
正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

AURA:效用引导的自适应推理实现高效文本检索

该论文提出 AURA 框架,将面向检索的推理建模为效用引导的计算分配问题,直接监督中间推理状态对相关文档与困难干扰项的区分能力,并训练轻量级效用估计器在推理时自适应决定推理深度。在 BRIGHT 基准上,AURA-4B 以平均 2.8 步推理、每查询 96 个生成 token 达到 34.7 的 nDCG@10,自适应停止将延迟从 4.6 秒降至 0.76

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

FlowBudget:流匹配模型的无训练采样预算估计

该论文提出 FlowBudget,一种无需训练、无需生成样本的采样预算估计方法,用于流匹配模型。它通过模拟无关的插值探针估计数值离散化误差系数,结合求解器阶数将数值容差映射为所需的函数评估次数(NFE)预算。在 SiT、FlowDCN 和 Rectified Flow 模型上的实验表明,该方法无需进行 FID 与 NFE 的扫描即可估计采样预算。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

RecSoup:面向可控多目标推荐的高效模型合并方法

该论文提出 RecSoup,一种用于可控多目标推荐(CMOR)的轻量级两阶段模型合并方法。它先通过同时考虑目标特定重要性和跨目标相关性的剪枝策略缓解参数干扰,再通过可学习的偏好到系数映射实现自适应参数合并,从而在推理时动态控制目标权衡,无需联合重训练或额外生成模块。理论上证明其能完整遍历帕累托前沿,实验显示帕累托前沿质量与可控性提升,推理延迟比参数生成方法快

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

TransX:面向推荐系统的序列转导扩展技术报告

TransX 是一个面向工业推荐系统的序列转导框架,将序列编码、行为记忆和候选条件融合拆分为可独立扩展的计算角色,并配套设计了训练与推理基础设施。在线上 A/B 实验中,核心模型将 CTR 提升 6.02%、转化率提升 4.45%,后训练检索与偏好排序变体也分别带来提升。其协同设计的训练基础设施将监督目标吞吐提升 84%,分离式推理在同等流量和 SLO 下大

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

SSR:面向LLM多智能体系统的可扩展Agent发现检索器

论文提出 SSR(Structural Signal Retriever),一种确定性、免训练的检索方法,用于 LLM 编排的多智能体系统中 Agent Card 的发现。SSR 从 Agent Card 的能力字段提取结构化词汇信号,用 IDF 加权,并通过倒排信号索引(ISI)进行选择性候选评分。在 1000 个智能体规模下,SSR 相比全目录编排减少

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

泰勒级数展开实现固定循环状态的线性时间Transformer

该论文提出将注意力中的指数核展开为截断泰勒级数,并将每一项分解为张量幂内积,从而把因果历史压缩为固定数量的循环状态,每个状态每 token 仅需一次秩一外积更新,与上下文长度无关。该方法在截断核意义下无损,状态可跨块相加,因此预填充支持并行扫描。实测显示每 token 解码延迟恒定,精度随阶数指数提升但成本组合增长,最优为二阶,且查询和键归一化是必要前提。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源模型发布

Intern Lumina U2:多码本扩散语言模型统一全视觉理解与生成

研究团队发布 Intern Lumina U2,一个基于多码本离散视觉 token 的扩散语言模型,在单一骨干网络中统一图像、视频、3D 的理解、生成与编辑。该模型为 16.9B MoE 架构,仅激活 1.4B 参数,是首个在全离散空间建模多码本视觉 token 的扩散语言模型。通过 Plateau-Halton 采样与 V-verify 策略,图像生成端到

正文结构化主题已通过公开置信门槛
LiteLLM Releases一手来源开源

LiteLLM v1.107.0-dev.3 发布:镜像签名验证与多项修复

LiteLLM 发布 v1.107.0-dev.3 开发版本,所有 Docker 镜像均使用 cosign 签名,并提供了基于固定 commit hash 和 release tag 两种验证方式。该版本包含大量修复与功能更新,涉及流式 thinking blocks 索引、xAI Grok 语音实时计费、MiniMax-H3 视频生成、Vertex AI

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

parakeet-unified-en-0.6b 的 transcribe.cpp GGUF 量化版发布

Hugging Face 用户 handy-computer 发布了 nvidia/parakeet-unified-en-0.6b 的 GGUF 量化版本,供 transcribe.cpp 使用。该模型是 0.6B 参数的 FastConformer 编码器加 RNN-T 解码器的英语语音识别模型,支持离线与流式推理,并提供 F32 到 Q4 K M 多种

正文结构化主题已通过公开置信门槛
Cerebras Blog一手来源观点

Cerebras:再强的模型也救不了糟糕的 harness

Cerebras 博客发文指出,智能体由模型、harness(运行框架)和环境组成,harness 决定模型能看到什么、能执行哪些动作以及结果如何反馈。文章引用论文数据称,同一 Claude Opus 4.5 模型在标准化 SEAL 框架下 SWE-bench Pro 得分为 45.9%,经 Claude Code 运行则达 55.4%,说明基准结果属于模型

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源观点

LLM 记忆缺失的一环:长上下文与检索不足以修正信念

Hugging Face 博客发布两篇系列文章,探讨大语言模型记忆机制中「访问」与「修正」的区别。文章指出,长上下文和检索只能让模型保留并访问过去信息,但当新证据与旧信息冲突时,系统未必能正确更新记忆,这一现象被称为 context rot。作者以线性注意力为例,说明其固定大小的循环状态使记忆更新过程可被直接观察,并指出简单累加式记忆在信息被替换时会把新旧关

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

React Native ExecuTorch 发布 gemma-4 端侧模型

Software Mansion 在 Hugging Face 发布了 react-native-executorch-gemma-4 仓库,将 Google DeepMind 的 gemma-4(基于 gemma-4-E2B)导出为 ExecuTorch .pte 程序,供 React Native ExecuTorch 库在设备端运行。仓库提供 mlx(

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

LTX-2.5 22B 蒸馏版 NVFP4 ComfyUI 量化 V2 发布

开发者 BennyDaBall 在 Hugging Face 发布 LTX-2.5 22B Distilled 的 NVFP4 量化版本 V2(keyframes 版),基于 Lightricks 官方 2026-08-16 重新导出的权重,补回 ComfyUI 所需的逐层 .comfy quant 标记并恢复 keyframes 位置嵌入。该版本可在 Co

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3-4b-Z-Image-Turbo 去审查版发布

开发者 BennyDaBall 在 Hugging Face 发布 Qwen3-4b-Z-Image-Turbo-AbliteratedV1,这是基于 Tongyi-MAI/Z-Image-Turbo 文本编码器的 abliterated 版本,采用 p-e-w heretic 方法经 1000 次试验去除图像生成与通用拒绝行为。模型提供 F16 至 Q2

正文结构化主题已通过公开置信门槛
Claude Code Changelog一手来源产品发布

Claude Code 2.1.301 更新:新增重试上限与追踪,修复多项问题

Claude Code 发布 2.1.301 版本更新,新增无人值守重试模式的使用上限等待配置、OpenTelemetry 追踪指引、vim 模式 % 跳转括号动作,以及多行文本输入框等能力。同时修复了大量问题,包括模型别名回退、磁盘满导致的登录错误、Grep/Glob 搜索失败误报、worktree 退出保护、二进制文件读取、全屏模式卡顿等。整体上提升了工

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源模型发布

NVIDIA 发布 Nemotron 3.5 Super VL 多模态智能体模型

NVIDIA 发布 Nemotron 3.5 Super VL,一个开放可定制的多模态模型,采用 120B 参数 MoE 架构,每 token 激活 12B 参数,单 GPU 上 agentic 任务吞吐量最高提升 5 倍。该模型融合推理、指令遵循、工具使用与文本、图像、文档、视频理解,开发者可用 NVIDIA NeMo 基于自有数据进行后训练,构建企业专用

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源模型发布

Meta 发布 Muse Spark Open 编码模型,在 NVIDIA GB300 NVL72 上扩展智能体编码工作流

Meta 发布面向编码优化的 816B 混合专家模型 Muse Spark Open,激活参数 42B,支持 100 万 token 上下文窗口,并在 NVIDIA GB300 NVL72 上训练以适配智能体编码工作流。该模型具备多步任务执行、工具调用、子智能体协调和计算机使用能力,同时原生支持文本、图像、视频和音频感知。NVIDIA 提供 SGLang、v

正文结构化主题已通过公开置信门槛
智东西开源

阶跃星辰开源Step 5 Preview,登OpenRouter周榜第二

阶跃星辰正式开源Step 5 Preview模型权重,BF16与FP8两个版本同步上线Hugging Face和ModelScope。该模型采用稀疏MoE架构,总参数600B、激活参数27B,支持100万Token上下文,在Artificial Analysis Intelligence Index取得44分,位居全球开源模型前三,并在OpenRouter周

正文结构化主题已通过公开置信门槛
智东西产品发布

英伟达RTX Spark真机上手:十大亮点解析

英伟达RTX Spark笔记本电脑将于10月15日晚8点全球首批开售,搭载N1X超级芯片,将Grace CPU与Blackwell RTX GPU集成,主打本地AI智能体运行。该设备提供笔记本和紧凑型桌面主机两种形态,支持本地模型推理、微调及多智能体任务,英伟达称其AI性能与DGX Spark相当,并强调本地运行可大幅降低Token成本。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp v0.7.0 发布:新增 MoE 专家 GPU 缓存与多种投机解码

llama.cpp 发布 v0.7.0,新增 LiliCorr 投机解码技术、GLM5-Next 的 MTP 投机解码,以及面向 MoE 专家权重的 GPU 缓存(--moe-cache-mib,专家卸载时解码最高约 2.2 倍加速)。同时新增 K2 Horizon、Prism Bonsai 2 27B、EmbeddingGemma-2、LiquidAI d