多模态

海康威视：物联感知加AI，加速工业场景数字化

海康威视在2026年中国国际工业博览会上展出百余款场景数字化产品，覆盖半导体封装3D AXI检测、高温计、听诊光纤、扫描成像雷达等工业场景。公司以可见光、红外、X光、毫米波、声波等多维物联感知体系叠加海康观澜大模型，通过小样本学习降低工业检测部署门槛，并在折叠屏铰链检测、SOP行为检测、皮带托辊监测等场景落地。文章称其2025年机器人业务营收64.52亿元，

llama.cpp b11774 修复 LFM2 图像切片与布局对齐

llama.cpp 发布 b11774 版本，修复了 mtmd 模块中 LFM2 系列视觉语言模型（LFM2-VL、LFM2.5-VL、d1-3B）的图像预处理逻辑。改动使图像切片改为直接拉伸到网格而非保持宽高比补黑边，并将 smart resize 的舍入与网格宽高比计算改为与 Python 一致的 double 精度，从而在 [1,4096]^2 范围内

FocusGUI：面向全模态 GUI 智能体的聚焦感知轻量适配器

该论文提出 FocusGUI，一种轻量级适配器，用于 GUI 智能体在多模态流式观测（截图、音频、视频、交互历史、设备状态）中动态筛选与当前步骤相关的证据，避免无关上下文导致误差累积和轨迹漂移。FocusGUI 仅用动作监督训练，无需模态相关性标签，也不微调骨干模型，而是将压缩后的相关证据注入冻结解码器的嵌入中。在四个全模态骨干上，其 Type Match

llama.cpp 发布 b11772：修复 gemma 4 FFN 激活

llama.cpp 发布构建版本 b11772，主要修复 mtmd 模块中 gemma 4 的 FFN 激活函数问题（PR #30882）。该版本同步提供 macOS/iOS、Linux（含 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端）、Android、Windows 及 UI 等多平台预编译包。此次更新属于开源推理框架的常规缺陷修

MiniMax-H3 文本编码器 Qwen3VL-32B 去审查 GGUF 版发布

开发者 pottokao 在 Hugging Face 发布了 MiniMax-H3 文本编码器的 GGUF 量化版本，基于 abliterated（去审查）的 Qwen3-VL-32B-Instruct，提供纯文本版和合并视觉塔的 vis 版，后者供 ComfyUI 的 MiniMax-H3 视频生成流程使用。作者同时提示已有质量更好的新版 16GB-GG

llama.cpp b11767：从 GGUF 元数据读取 LFM2 分块参数

llama.cpp 发布 b11767 版本，主要改动在 mtmd 模块：转换 LFM2-VL mmproj 时，将 min tiles、max tiles、tile size 和 max pixels tolerance 等 tiling 参数写入 GGUF 元数据，clip.cpp 读取这些参数并以原有常量作为默认值；do image splitting

Mistral 与 NVIDIA 合作推进工程领域 AI 工作流

Mistral 与 NVIDIA 宣布合作开发 AI 原生的工程工作流，将 Mistral Large 4 模型与 NVIDIA CUDA-X、Warp 及 Omniverse 结合，用于加速工程仿真并打通仿真、模型开发与设计之间的闭环。双方还将推出面向物理模型和 CAE/EDA 智能体的公开基准与开放数据集，以标准化评估。合作建立在双方既有关系之上（此前共

另有 1 家信源报道

H2O Lightning 4B 发布 GGUF 量化版本

H2O.ai 在 Hugging Face 发布了 H2O Lightning 4B 的 GGUF 量化版本，供 llama.cpp 使用。该模型以带概率的类型化决策（choice、noul、score）输出结果，官方推荐 Q8 0 文件，并给出各精度档位相对 BF16 的准确率与答案一致率对比。llama.cpp 已合并相关支持，用户可直接通过 llama

智谱 GLM 系列模型更新公告：GLM-5.3-Flash 多模态模型上线

智谱（GLM）发布新版本公告，集中列出从 2025 年 6 月至 2026 年 8 月的模型上线记录。最新上线的是 GLM-5.3-Flash 原生多模态模型，采用线性注意力与稀疏注意力混合架构（总参 320B、激活 18B），可主动观察界面并迭代改进，覆盖代码、浏览器与图形界面协同闭环。此前 GLM-5.3 旗舰模型在编程基准上较 GLM-5.2 提升 5

30 个月指数级增长：AI 能力、价格与协作方式的变迁

沃顿商学院教授 Ethan Mollick 在新书《Co-Existence》发布之际，用图表回顾了自 2024 年《Co-Intelligence》出版以来 30 个月的 AI 进展。他指出，自 GPT-4 之后已有 20 个模型先后登顶，180 个模型在能力上超越 GPT-4 发布时的水平，其中 19 个可在智能手机上运行；METR 长任务基准显示 AI

王友清教授团队多视图聚类论文被ACM MM 2026录用

北京化工大学王友清教授团队的论文《Global-and-Local Collaborative Mixture-of-Experts with Dual Contrastive Learning for Deep Multi-view Clustering》被第34届ACM国际多媒体会议（ACM MM 2026）录用。该研究提出全局-局部协同混合专家框架GL

面向大脑编码的参数高效微调扩展研究

该论文提出用参数高效微调（PEFT）与低秩适配器（LoRA）将超大多模态骨干模型适配到大脑编码任务，通过利用骨干的因果结构单次预测多个时间点，显著降低特征提取成本，从而可高效微调最多 104B 参数的模型。方法 BrainLoRA 在 Algonauts 2025 挑战赛上取得已发表最佳成绩，并借助自研 multi-LoRA 内核训练 200+ 适配模型集成

580天暗战：爱奇艺用AI重塑影视工业

爱奇艺在580天内推进生成式AI落地影视行业，CEO龚宇提出用AI重塑内容创作与评估。公司推出“剧本工坊”“影像工坊”等工具，其中“剧本工坊”已接入DeepSeek等国产大模型，可在30分钟内完成50万字剧本评估，累计服务5000部作品。爱奇艺还通过全员培训、内部智能体平台“奇智”推动AI应用，2024年大模型调用量较2023年增长83倍，超98%员工使用过

Meshy 推出 Meshy Edit：一句话实现 3D 模型局部编辑

AI 3D 多模态模型公司 Meshy 发布局部编辑功能 Meshy Edit，基于全新自研 AI 模型，用户圈选 3D 模型区域并用一句话描述改动，约一分钟即可生成新模型，未选中区域保持原样，现已向全部注册用户开放，每次编辑消耗 20 积分。该功能面向 3D 打印用户和游戏开发者，可替代重新生成整个模型或使用 Blender 手动编辑的传统流程。a16z

OpenVLHarness：带多模态记忆的真实世界视觉智能体工具使用

研究者提出 OpenVLHarness，一个面向多模态大模型的可视化智能体工具使用框架，通过能力层（统一异构工具接口与证据渲染）和持久多模态记忆（保留图像、结构化数据与网页引用）支持迭代式证据获取与组合。在 22 个基准上，使用 8 个开源与专有骨干模型评测，平均得分比无工具基线提升 9.7-12.6 分，其中 Qwen3-VL-8B 提升 11.2 分、K

ROAR：实时约束下多人射击游戏中的LMM智能体基准

研究团队提出 ROAR，一个多人动作射击游戏环境，用于在实时约束下评测基于大型多模态模型（LMM）的智能体。现有基准多为回合制，推理时环境与其他智能体暂停，掩盖了实时决策挑战。ROAR 采用多智能体异步 Gym 接口，将环境与各智能体分线程运行，支持合作、竞争、混合及单智能体场景，并提供多模态观测与轻量部署。

EMMA：事件驱动多模态记忆与多智能体检索系统

该论文提出 EMMA，一种事件驱动的多模态记忆系统，用于长视频理解。它通过融合视觉语义漂移与语音章节转换的双流检测器自适应定位事件边界，构建原始视频、片段级记忆和事件级记忆的三级层次结构，并采用多智能体框架进行查询分解、分层搜索、证据验证和答案生成。在三个长视频基准上，EMMA 相比最强基线分别提升 4.3、3.2、2.8 分，同时减少检索轮次。

MT Forcing：基于自回归扩散的稳定一致多轮图像编辑

该论文提出 MT Forcing，一种面向基于自回归扩散的统一多模态模型（UMM）的多轮图像编辑训练范式，通过单轮分布匹配蒸馏（Single-Turn DMD）与教师强制引导（Teacher-Forcing Guidance）两种互补训练信号，缓解多轮编辑中的视觉质量退化与内容漂移问题。在 MTEdit-Bench 上，将 MT Forcing 应用于 Se

llama.cpp b11747：mtmd 对齐 transformers 的 Qwen-VL 缩放

llama.cpp 发布 b11747 版本，主要变更是 mtmd（多模态）模块对齐 transformers 的 Qwen-VL 图像缩放处理逻辑（PR #30736）。该版本同时提供 macOS/iOS、Linux、Android、Windows 等多平台预编译包，覆盖 CUDA、Vulkan、ROCm、SYCL、OpenVINO 等后端。此次更新提升了

SageMaker JumpStart 2026 年回顾：新增 100+ 模型

AWS 发布 Amazon SageMaker JumpStart 2026 年前三季度回顾，称其新增来自 30 家提供商的 100 多个模型，其中阿里巴巴 Qwen 贡献 29 个、NVIDIA 17 个、Mistral 7 个、Google 6 个、IBM 和 Cohere 各 4 个。新增模型覆盖推理、MoE、智能体、代码生成、语音、多模态、图像视频生