返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践：推理优化、量化与成本、Serving 架构与可观测性 · 共 3343 条

只展示置信度达到公开门槛且每篇排名前三的主题标签，降低泛化误贴。

8月3日周一 · 20 条
正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

Meta 财报暴露 AI 困境：现金流告急，被迫转向 ROI 叙事

Meta 发布 2026 年二季度财报，净利润暴跌 14%，自由现金流仅剩 7.84 亿美元，同时上调全年 AI 资本开支至 1350 亿-1450 亿美元，引发股价大跌。Meta 在 AI 上半场因 Llama 4 失败和产品融合不佳而落后，现正通过自研模型路由器、限制 Token 使用、筹建云业务等方式寻求 AI 变现。分析认为，AI 行业已从拼投入转向

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10236 发布：Metal 实现 DSv4 Lightning Indexer 并优化性能

llama.cpp 发布 b10236 版本，在 Metal 后端实现了 DeepSeek V4 的 Lightning Indexer 算子，支持 F16 键和多种量化缓存，并通过分阶段处理 K tiles 优化性能。基准测试显示，在长 KV 缓存下预填充速度显著提升（如 d30000 时从 33.40 提升至 49.18 t/s），同时提供了多平台二进制

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

TransX：通过行为与服务流交叉扩展基于 Transformer 的推荐系统

LinkedIn 的研究团队提出 TransX，一种生产导向的编码器-解码器推荐架构，将推荐重构为序列到序列的动作转导问题，显式解耦行为流建模与服务事件建模，并通过可扩展的交叉注意力连接近线行为编码和实时服务表示。TransX 采用摊销服务策略，结合增量行为编码和每请求键值缓存，使服务延迟对行为序列长度不敏感。在 LinkedIn 推荐系统上的大规模在线 A

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

拓扑感知数据传输：面向分离式GPU推理的优化方案

本文提出了一种面向分离式GPU推理的拓扑感知数据传输方案，解决预填充和解码分离时KV缓存传输的网络瓶颈问题。该方案通过流水线分层传输、NVLink域感知放置和CXL 3.0内存扩展器三种机制，相比统一RDMA可降低3至18倍传输延迟。目前仅提供分析模型和组件实现，尚需多节点异构集群和CXL 3.0硬件进行完整评估。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

CyberNeuro：面向队列级神经影像与临床数据隐私保护智能体工作台

arXiv 论文介绍了 CyberNeuro，一个用于大规模神经影像和临床数据分析的隐私保护智能体工作台。它通过四个专用智能体（Planner、Validator、Dispatcher、Reporter）和本地 LLM 模型 WandaMind，支持自然语言执行复杂工作流，同时保持临床级数据隐私。在 NeuroBench 基准上，CyberNeuro 将保留

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

OpenClaw与Ollama在Agentic AI中的应用：迈向全自主可扩展的AI代理系统

该论文提出了一种用于Agentic AI的分层架构，将推理、编排和执行层分离，并以OpenClaw和Ollama作为全栈系统进行验证。实验表明，持久记忆、工具使用和自适应决策等能力源于系统级集成，而非单一模型。研究还讨论了可扩展性、安全性和治理等挑战，并公开了所有模型、代码和数据集。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

TransMem：将隐藏状态转化为大语言模型的记忆

TransMem 是一种轻量级推理时参数记忆模块，可将冻结的大语言模型（LLM）的稀疏历史隐藏状态转换为可复用的记忆表示，通过门控网络动态干预当前隐藏状态，无需重复编码先前上下文。实验表明，TransMem 在 LoCoMo、HotpotQA 和 MemoryAgentBench 上均取得显著性能提升，验证了稀疏历史隐藏状态作为长上下文 LLM 智能体有效记

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

分层 Copula-Gumbel-Top-K 路由：冻结 MoE 的双侧依赖控制

该论文提出了一种名为 Hierarchical Copula-Gumbel-Top-K 的新型路由机制，用于冻结的混合专家模型，在不改变每个 token 路由分布的前提下，通过高斯 copula 和反演构造分别控制组内正相关和组间负相关，从而调节专家负载的方差。该方法通过小规模控制器在冻结特征上训练，仅需前向传播，初步实验验证了机制的有效性，但未展示任务级微

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Liquid AI发布LFM2系列混合模型，主打边缘AI部署

Liquid AI发布了新一代混合模型LFM2系列，包括350M、700M、1.2B和2.6B四个参数规模的检查点，专为边缘AI和端侧部署设计。LFM2采用乘法门和短卷积的新架构，训练速度比上一代快3倍，CPU上的解码和预填充速度比Qwen3快2倍，在知识、数学、指令跟随和多语言等基准上优于同尺寸模型。该系列支持8种语言，上下文长度32,768 tokens

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

无需重训即可解除 LLM 审查：abliteration 技术详解

Hugging Face 博客文章介绍了 abliteration 技术，可在不重新训练的情况下移除 LLM 内置的拒绝机制，使其能响应所有类型的提示。该方法通过识别模型残差流中的拒绝方向，并通过推理时干预或权重正交化来消除该方向。文章提供了基于 TransformerLens 库的代码实现，并已在 Google Colab 和 GitHub 上发布。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10235 发布，新增 Metal SILU BACK 支持

llama.cpp 发布 b10235 版本，主要新增了 Metal 后端对 SILU BACK 操作的支持，该操作针对 f32 类型实现，并移除了冗余断言。此版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10234 发布：Metal 后端新增 F16 二元运算支持

llama.cpp 发布 b10234 版本，主要更新是为 Metal 后端添加了 F16 支持，用于二元运算。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种硬件加速后端。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10233 发布：修复 OpenCL GLU 操作工作组大小限制

llama.cpp 发布了 b10233 版本，主要修复了 OpenCL 后端中 GLU 操作的本地工作组大小限制问题。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件，并支持多种后端如 CUDA、Vulkan、ROCm 等。

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10232 发布：Metal 支持 DeepSeek V4 超连接

llama.cpp 发布 b10232 版本，主要更新是在 Metal 后端实现了 DeepSeek V4 的超连接（hyper-connections）支持，包括新增 GGML OP DSV4 HC COMB、GGML OP DSV4 HC PRE 和 GGML OP DSV4 HC POST 算子，并针对 SIMDgroup 寄存器与 shuffle 进

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10231 发布：支持 DSpark 投机解码 sidecar

llama.cpp 发布 b10231 版本，新增对 DSpark 投机解码 sidecar 的支持，其解析方式与其他 speculative sidecars 类似，并支持 -hfd 标签、自动发现及 -md 选择禁用。在自动选择中，dspark 优先于 dflash，因为其 sidecar 带有额外的马尔可夫头。该版本提供了多平台二进制文件，包括 mac

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

LettucePrevent：RAG 中实时预防事实幻觉的新方法

Hugging Face 博客发布了 LettucePrevent，一种在 RAG 生成循环中集成 token 级检测器以实时抑制事实幻觉的方法。其数字检测器在多个模型上将数字幻觉相对减少超过 60%，但事实检测器仅在 Llama-2 7B 上显著降低幻觉（-26.6%），且运行时开销高达 7 倍。该方法通过自定义 LogitsProcessor 和 Hug

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源开源

ECMWF 开源 AI 天气预报模型 AIFS，并简化运行流程

ECMWF 将其 AI 天气预报模型 AIFS 开源，权重发布在 Hugging Face 上，但运行需要特定 GPU。Hugging Face 与 ECMWF 合作开发了兼容补丁，使模型能在任意设备上运行，并提供了教程和在线演示。AIFS 已投入业务运行，能耗比传统物理模型低约 1000 倍，并支持研究、应用开发和教学等用途。

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

DFlash加速Qwen3.6：英特尔AI PC上MoE模型解码提速2.2倍

英特尔与Hugging Face合作，在搭载Intel Core Ultra（Panther Lake）的AI PC上，利用DFlash投机解码和OpenVINO加速Qwen3.6-35B-A3B MoE模型，实现HumanEval 2.2倍、GSM8K 1.6倍、MT-Bench 1.3倍的解码加速。DFlash通过并行掩码草稿器替代自回归草稿模型，缓解了

正文结构化主题已通过公开置信门槛
Together AI Blog一手来源开源

ThunderKittens 针对 NVIDIA Blackwell GPU 优化并开源新内核

Together AI 与斯坦福大学合作开发了 ThunderKittens 框架，并针对 NVIDIA Blackwell 架构开源了新的内核，包括 BF16/FP8 GEMM 和注意力前向/反向内核。这些内核在 B200 上接近 cuBLAS/cuDNN 速度，在 H100 上比 cuBLAS 和 FA3 快达 2 倍。文章深入探讨了如何利用第五代张量核