多模态

Google DeepMind 推出带 Live Avatar 的 Gemini 3.8 Live

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，在原生实时对话模型基础上加入近实时视频生成能力，实现带口型同步、自然表情和流畅轮次切换的视觉化虚拟形象。该功能支持异步工具调用、97 种语言的原生语音到语音同步，并可通过参考图定制品牌形象，即日起在 Gemini Enterprise 上线。所有输出均嵌入

另有 1 家信源报道

AWS 在 SageMaker AI 上推出 WhisperX 说话人标注转写容器

AWS 发布 WhisperX 深度学习容器（DLC），在 SageMaker AI 上提供带说话人标注的语音转写能力。该容器封装了 OpenAI Whisper，并加入 wav2vec2 强制对齐实现逐词时间戳，以及说话人分离（diarization）功能，无需 Hugging Face token 即可部署。用户可将其部署到 SageMaker AI 实

Meta 为 Muse 智能体增加视频形象、邮箱和 Mac 控制

Meta 在 Meta Connect 2026 上扩展了其 AI 智能体 Muse，新增实时视频聊天与可定制虚拟形象、专属邮箱地址以及控制 Mac 应用的能力，并计划未来数月让 Muse 运行在 Meta 智能眼镜上，将对话转化为添加购物清单、安排会议等操作。扎克伯格还发布了类似 Tamagotchi 的 Muse Charm 设备，配备 2 英寸屏幕、5

任少卿署名新论文：MM-Future让自动驾驶多未来联合规划

蔚来智能驾驶基础模型预研团队在任少卿指导下发布论文《MM-Future: Multi-Mode Joint World–Action Modeling for Autonomous Driving》，提出多模式世界—动作联合模型，可一次生成多组配对场景—动作假设并让场景与动作双向演化。在NAVSIM-v1上取得94.0 PDMS、NAVSIM-v2上取得91

百度搭子与英特尔推进端云协同，本地Skill专区上线

百度搭子在2026 Intel Connection大会上宣布上线面向英特尔机型的本地Skill专区，并推出混合Skill调度能力，可根据任务类型和电脑算力在本地与云端之间自动选择处理方式。基于英特尔酷睿Ultra智能体PC，语音识别、文生图、文档和图片解析等任务可在本地完成，联网检索和复杂分析则由云端处理。此前百度搭子月活达674.30万，环比增长1063

诺因发布GLOW技术报告：机器人一次演示即可跨场景复用任务

诺因（Knowin）于9月24日发布面向通用具身智能的生成式学习架构GLOW技术报告，提出让机器人通过人类一次演示即可跨物体、跨环境、跨任务复用技能。GLOW由KnowinGLOW多模态自回归模型、KnowinDream经验合成引擎、KnowinWorld世界推演模块和KnowinAgent任务运行系统四部分组成。报告称其在RoboDojo、LIBERO-P

Meta Connect 2026：Muse智能体与AI眼镜发布

Meta在Connect 2026上发布Muse个人智能体，支持语音、实时视频和邮件功能，并推出多款AI眼镜硬件，包括Ray-Ban Meta Gen 3、VR眼镜和Muse Charm钥匙扣设备。Muse已超越ChatGPT登上App Store榜首，但Meta仅预告未发布新前沿模型。此外，Meta收购了语音初创公司WaveForms AI，并发布Muse

斑马智能云栖亮出从汽车到具身智能的入场券

在2026年云栖大会上，斑马智能展示了以汽车作为具身智能“中试场”的路径，提出“意图经济”概念，即AI通过上下文与记忆读懂用户意图并直接调用服务。斑马智能座舱系统装车量达千万级，AI上车业务覆盖68%主流车企，并发布AutoOmni2.0-23B-A3B端侧大模型。其目标是将座舱验证的端云一体Agent架构与生态能力复制到手机、智能家居、机器人等终端。

Ovis-Embedding：推进通用全模态嵌入前沿

该论文提出 Ovis-Embedding，一个基于 Qwen-Omni 预训练理解模型构建的全模态嵌入模型家族，通过共享多模态骨干网络将文本、图像、视频和音频编码到统一表示空间。研究采用低秩对比预训练、同源采样、focal loss 和嵌入蒸馏等训练优化策略，并在推理时用低秩特征分解实现紧凑嵌入。在 MMEB-v3、MMEB-v2、MVEB、MAEB 和 R

AgroBench：弱监督作物产量学习的可复现多模态基准

研究团队发布 AgroBench，一个可复现的多模态基准，用于弱监督作物产量学习。该基准将美国县级 USDA 作物产量统计与 Sentinel-2 光学影像、Sentinel-1 SAR、气候和地形数据结合，生成像素级作物时序，每个像素序列以县级产量作为弱监督信号。数据集包含 788,654 个作物像素、超 1300 万条观测，覆盖 2017–2024 八个

病理引导跨模态对比学习实现CT无创肾癌分级

达特茅斯学院等机构的研究者提出 RCC-Align，一种跨模态对比学习框架，在训练阶段利用配对的病理全切片图像与 CT 数据，将组织形态学中的分级判别信息迁移到 CT 表征中。在 TCGA 和 CPTAC 队列上评估，RCC-Align 对低级别与高级别透明细胞肾细胞癌分类的 AUC 为 0.601，优于仅用 CT 的 DINOv2-Finetuned 基线

用于GBM生存预测的准确可解释超图神经网络

该研究提出一种用于胶质母细胞瘤（GBM）生存预测的多模态框架，将sheaf超图神经网络、概念瓶颈层和扩展充分性检验（EST）正则化器统一起来，以同时实现准确性和可解释性。在UPenn-GBM数据集593名患者的5折交叉验证中，模型达到0.643的一致性指数，且折间方差最低（std=0.015）。作者称这是首个将sheaf超图卷积、概念瓶颈监督与EST正则化结

豆包再送30天订阅权益，所有用户可免费领取

豆包在一个月内第二次向所有用户免费发放订阅权益，用户下载或升级豆包工作电脑版或豆包电脑版即可领取30天订阅，已领取过上一轮福利的用户在权益到期期间会获得下一轮30天免费订阅，付费用户权益自动延期。豆包工作自8月25日发布后迭代迅速，新增多Agents并行、GUI操作电脑、本地Office文件编辑等功能，豆包2.1 Pro模型也完成版本升级，在多模态编程方面表

Meta为AI代理Muse推出虚拟形象、智能眼镜与购物集成等新功能

Meta在年度Connect大会上宣布为其个人AI代理Muse推出一系列新功能与集成，包括可实时视频对话的数字虚拟形象（由新模型Muse Realtime Avatar驱动）、接入Meta智能眼镜、支持Mac桌面操作、专属邮箱地址，以及与Stripe、Shopify、PayPal、Best Buy、Walmart等零售和支付伙伴的合作。Muse由多模态模型M

Meta 将 AI 智能体 Muse 引入智能眼镜

Meta 宣布正在将刚发布不久的 AI 智能体 Muse 引入其智能眼镜，包括在 Meta Connect 上发布的新款眼镜，用户可通过语音唤醒 Muse 来完成健身指导、记录饮食、购物等任务。同时 Meta 还为眼镜带来听力增强（FDA 认证）、更丰富的视觉问答、音频左右耳调节、Dolby Atmos 空间音频录制、动态照片等无障碍与影音功能。Meta R

Meta 强化 Muse 智能体，新增视频通话与邮箱功能

Meta 宣布为其新推出的 Muse AI 智能体进行多项更新：Muse 将获得专属电子邮件地址用于执行任务，用户也可通过该邮箱与智能体沟通；新上线的 Muse Mac 应用将获得操作电脑的能力。Meta 还将为 Muse 增加视频通话功能，用户可与 Muse 虚拟形象进行实时视频对话，并可调整其声音，新的 Muse Realtime Avatar 模型将驱

另有 1 家信源报道

NVIDIA 发布 NV-Reason-CT：面向放射科思维链的 3D CT 视觉语言模型

NVIDIA 发布 NV-Reason-CT，一个专为 3D CT 分析构建的视觉语言模型，将思维链推理扩展到全容积 CT，可生成结构化诊断报告、模拟放射科医生思维链并支持多轮追问对话。该模型基于 NV-Reason-CXR 的推理方法，采用 3D ViT 编码器与 Qwen3.5-4B 语言模型组合，处理 192³ 体素 CT 数据。NVIDIA 强调其定

llama.cpp v0.5.0 发布：后端性能提升与多模型支持

llama.cpp 发布 v0.5.0，重点提升后端性能与正确性、扩展模型覆盖并增强服务端/路由稳定性。新增 HRM-Text（DFM Mimir 1B）、MiMo-V2.6 与 HunyuanOCR 转换支持，升级 ggml 0.25.0，并加入多地址 HTTP 绑定、函数调用图像输出及多项聊天解析器/UI 修复。

Optimum-Intel v2.2.0 与 OpenVINO GenAI 2026.4.0 更新

Hugging Face 博客发布 Optimum-Intel v2.2.0 与 OpenVINO GenAI 2026.4.0 更新。Optimum Intel 2.2 扩展了模型导出支持，新增 Mistral 3、DeepSeek-OCR-2、Gemma 4、Qwen-Image、LTX-2、Fun-ASR 等模型，并支持 DFlash 与 MTP 投机

AWS 推出基于智能体的对话式视频情报方案

AWS 博客介绍了一种基于智能体架构的对话式视频情报方案，用户可用自然语言对上传视频提问并在数秒内获得答案。该方案使用 Strands Agents SDK 构建单一 AI 智能体，在运行时根据问题动态编排 Amazon Bedrock、Amazon Rekognition 和 Amazon Transcribe，而非为每种问题预建固定流水线。一家大型媒体娱