返回主题地图

部署工程

技术方向 · 把模型跑起来的工程实践:推理优化、量化与成本、Serving 架构与可观测性 · 共 3313 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

10月6日周二 · 20 条
正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

行动前先选择:面向长程工具使用智能体的比较价值估计

论文提出 CITA 方法,训练比较推理模型(CIM)来估计长程工具调用序列中候选下一步工具调用的长期价值,从而在执行前做出更优选择。CIM 利用真实轨迹配对、贝叶斯工具图模拟器和 LLM 语义比较三种信号进行训练。在三个工具使用基准和多个骨干 LLM 上,CITA 一致提升了 Tool F1 和任务成功率。

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

贝叶斯充分压缩还不够:通信如何帮助多智能体系统?

该论文提出「接收者相对有界协调」框架,研究多智能体LLM系统中发送者向执行者传递短消息何时优于直接提供原始上下文。作者将消息价值分解为接收者增益减去协议税,并指出即使贝叶斯充分压缩也可能因执行者无法使用其表面形式而失败。在六个基准上,同一Qwen协议提升了ContextBench联合准确率却降低了ToolSandbox表现,固定消息重放揭示了内容恢复正确但动

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

SynLat:句法对齐的文本-潜在思维链压缩

论文提出 SynLat,一种文本-潜在混合的思维链压缩框架,通过句法对齐单元(SAU)将压缩边界与句法结构对齐,避免 token 级或固定长度边界割裂短语、公式等连贯片段。方法用答案条件化的 Teacher 为单一压缩条件化 Student 构建渐进式 KEEP/LATENT 目标,推理时仅需问题和压缩级别即可生成混合推理。在 Qwen3-8B/14B 上,

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

锯齿状能力从何而来?受控两层任务研究

该研究构建了一个由已知两层组成的受控任务:下层A从记录中计算五个逐槽和,上层B利用槽1的和及历史模式预测下一类别,因此B无法仅由当前A计算得出。训练小型循环网络仅学习B后发现,网络对A的习得呈现「锯齿状」——B需要的槽1可读性达97-98%,而其他槽仅5-10%,类别误读集中在槽1临界值附近。匹配实验表明,即使提供精确的A也不足以消除B的失败,说明下层理论的

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

CALM:文本到图像生成中全局不安全性的局限分析

该论文对文本到图像生成中「全局不安全信号」假设进行了受控几何分析,发现紧凑的不安全子空间无法覆盖异构的不安全语义,而扩大聚合范围又会扭曲安全邻近的良性提示,形成覆盖度与选择性的权衡。为此作者提出免训练的 CALM(反事实自适应局部调制)方法,利用匹配的不安全-良性锚点,将每个提示路由到活跃的不安全类别,仅对违规 token 表示做最小编辑并抑制正向对齐的不安

正文结构化主题已通过公开置信门槛
arXiv cs.AI一手来源研究

MintFlow:面向约束流匹配的最小轨迹干预

论文提出 MintFlow,一种无需训练的约束采样框架,将约束满足建模为对预训练流轨迹的最小干预。它通过伴随方程得到闭式最小范数扰动,避免高维雅可比矩阵和迭代优化,并自适应选择干预时间。在图像逆问题、图像编辑和物理信息生成等任务上,MintFlow 在满足约束的同时比现有方法更好地保持预训练生成分布。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

基于BAG感知互信息最大化的抗FDI攻击多智能体目标定位与跟踪

该论文提出一种在虚假数据注入(FDI)攻击下具有韧性的多智能体目标定位与跟踪框架。方法结合基于互信息的导航、基于贝叶斯攻击图(BAG)的攻击检测,以及可达集引导的恢复策略,通过信任门控隔离被攻陷智能体的传感信息,并用LQR引导未受攻击智能体重定位目标。仿真表明该框架在FDI攻击下仍能保持稳健的跟踪性能。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

bartowski 发布 Cloudflare clef 模型 GGUF 量化版

bartowski 在 Hugging Face 上发布了 Cloudflare 的 clef 模型的 GGUF 量化版本,使用 llama.cpp b11279 进行 imatrix 量化。clef 是一个 27B 参数的多模态模型,支持文本和图像输入,输出结构化类型结果,适用于分类等任务。该量化版本提供从 bf16 到 Q4 0 等多种精度选项,方便本地

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

MiniMax-Music3 发布 GGUF 量化包,支持 audio.cpp 本地推理

Hugging Face 上发布了 MiniMax-Music3-GGUF,这是 MiniMaxAI/MiniMax-Music3 文本生成音乐模型的 GGUF 量化包,面向 audio.cpp 推理运行时。该包提供 BF16、Q8 0、Q4 0 多种组件量化版本,默认组合在 RTX 5090 上以 1.35 倍实时速度生成 30 秒歌词音频,峰值显存 9.

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

AEON-7 发布 Qwen3.6-27B 无审查 NVFP4 量化版

AEON-7 在 Hugging Face 发布 Qwen3.6-27B-AEON-Ultimate-Uncensored-NVFP4,将原 51GB BF16 模型量化为 26GB NVFP4,面向 DGX Spark/GB10、B100/B200 等 Blackwell 硬件原生 FP4 推理。该版本保留多模态视觉塔与 48 层线性注意力/GatedDe

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

AEON-7 发布 Qwen3.6-27B 无审查 BF16 模型

Hugging Face 上出现 AEON-7 发布的 Qwen3.6-27B-AEON-Ultimate-Uncensored-BF16 模型卡,基于 Qwen/Qwen3.6-27B 进行 abliteration(去除拒绝行为)微调,采用 Apache-2.0 许可,支持多语言、工具调用、推理与视觉。模型卡说明该版本已被 Qwen3.8 版本取代,并提

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

AEON-7 发布 Qwen3.6-35B-A3B-heretic NVFP4 量化版

AEON-7 发布了 Qwen3.6-35B-A3B-heretic 的 NVFP4 量化版本 v2,基于 tvall43 的去审查(abliterated)Qwen3.6 35B-A3B MoE 多模态模型重新量化,恢复了标准多模态架构以提升 vLLM 推理稳定性。2026-06-18 的修复将 333 个视觉张量重命名为 model.visual. ,解

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Gemma 4 E4B 无审查 NVFP4 草稿模型发布

Hugging Face 上发布了 AEON-7/Gemma-4-E4B-it-Uncensored-NVFP4 模型,这是一个基于 TrevorJS/gemma-4-26B-A4B-it-uncensored 的 EAGLE 投机解码草稿模型,使用 NVIDIA ModelOpt 0.42.0 量化为 NVFP4 AWQ 格式。该模型专为 NVIDIA D

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

AEON-7 发布 Gemma-4-E4B NVFP4 投机解码草稿模型

AEON-7 在 Hugging Face 发布了 Gemma-4-E4B-DECKARD-HERETIC-NVFP4,这是一个基于 google/gemma-4-e4b-it 的 NVFP4 量化 EAGLE 风格投机解码草稿模型,用于为标准版 Gemma 4 31B DECKARD HERETIC 目标模型加速单流解码。该模型面向 Blackwell 级

正文结构化主题已通过公开置信门槛
Cerebras Blog一手来源教程

Cerebras 详解 MoE 推理数学:8x7B 到底意味着什么

Cerebras 博客发布 MoE 推理数学解析文章,澄清「8x7B」并非 8 个专家各 7B 激活参数,而是约 13B 激活参数。文章系统推导 MoE 推理所需显存(模型权重与 KV-cache)和计算量(prefill 与 decode 的 FLOPs),并指出单 GPU 部署受显存限制、多 GPU 受通信限制、Cerebras WSE 等专用硬件受计算

正文结构化主题已通过公开置信门槛
Simon Willison's Weblog产品发布

Anthropic 将 Cowork 的推理与 VM 全部迁移至云端

Anthropic 的 Felix Rieseberg 介绍了 Cowork 的新旧架构差异:旧版在云端做模型推理,但把工具调用放在本地 VM 中执行,用户抱怨磁盘、电池和性能开销大,且合上笔记本工作就会中断。新版将模型推理和 VM 都放到云端,每个会话拥有独立沙箱,不与其他会话共享状态;当 VM 需要访问用户设备上的文件时,由桌面应用负责该文件访问的工具调

正文结构化主题已通过公开置信门槛
TechCrunch AI模型发布

Reflection 发布开放权重模型 Beam,对标中国开源模型

Reflection AI 发布首个前沿开放权重模型 Beam,这是一个 5010 亿参数、230 亿激活参数的文本混合专家模型,预训练于 23.8 万亿 token,支持 100 万 token 上下文。公司声称 Beam 在高级推理基准上可媲美 Z.ai 的 GLM-5.2,并超越西方领先开放模型,同时推理算力消耗低 3-4 倍,但该性能声明尚未被独立验

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3.8-27B 去审查版 ROCmFPX 量化 GGUF 发布

ArtomYuan 在 Hugging Face 发布了 Qwen3.8-27B-abliterated-ROCmFPX,这是对 huihui-ai/Huihui-Qwen3.8-27B-abliterated 去审查权重进行本地重量的 GGUF 量化版本,提供 7 个量化层级及视觉 mmproj。该版本采用 llama.cpp-rocm 分支特有的 ROC

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Qwen3.8-27B 的 ROCmFPX 量化 GGUF 发布

开发者 ArtomYuan 在 Hugging Face 发布了 Qwen3.8-27B 的 ROCmFPX 量化 GGUF 版本,包含 7 个量化档位及视觉 mmproj 文件,基于官方 BF16 权重本地重新量化。该版本需配合 llama.cpp-rocm 分支使用,上游 llama.cpp 无法加载,并提供了 AMD Strix Halo 上的 lla

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

QUASAR 发布 Qwen3.8-27B NVFP4 量化模型,496 层全量化

研究团队发布 QUASAR-QAT/Qwen3.8-27B-QUASAR-NVFP4,这是基于 Qwen/Qwen3.8-27B 的 4-bit NVFP4 量化版本,采用名为 QUASAR 的量化感知训练(QAT)方法直接训练 NVFP4 权重,无需自定义推理路径。该模型体积 19.7 GB,将全部 496 个 transformer 线性层量化为 NVF