多模态

Google 将手语 AI 集成到 Gboard 和 Live Transcribe

Google DeepMind 与 Android 团队合作，将手语识别技术 SL2T 集成到 Gboard 和 Live Transcribe 应用中，首先在 Pixel 11 上推出，免费使用。该项目与聋人社区合作开发，并成立了 AI 手语咨询委员会（AISLAC）以指导负责任部署。未来计划扩展至更多手语和手语生成功能。

国产具身智能创纪录：30%成本跑赢Figure AI，WALL-B模型成关键

自变量机器人在公开直播实测中，使用双机械臂和标准夹爪方案，以1816件/小时的分拣效率超过Figure AI的1248件/小时纪录，效率提升超45%，硬件成本降低70%。其核心是自研的WALL-B世界统一模型，该模型融合视觉、语言、动作等多模态信息，实现零样本泛化和实时决策。这一成果展示了通过模型能力而非复杂硬件提升机器人性能的路径，并已从家庭场景延伸至工业

Jina AI 发布多模态嵌入模型 v5-omni-small

Jina AI 发布了 jina-embeddings-v5-omni-small，一个约 1.74B 参数的多模态嵌入模型，支持文本、图像、视频和音频输入，生成 1024 维共享向量空间嵌入，并与文本版 v5 模型对齐，无需重新索引即可跨模态检索。该模型支持检索、分类、聚类和文本匹配等任务，最大序列长度 32768，提供 Matryoshka 维度裁剪，并

紫东太初推出GMC剪枝法：减80%Token仍保多模态能力

中国科学院自动化研究所紫东太初大模型团队提出核心集剪枝方法GMC，通过互补证据自适应筛选与群体互补信息传输双阶段架构，在免训练、无额外依赖的情况下压缩视觉Token。实验表明，在Qwen2.5-VL-7B上减少80% Token仍保留97.78%能力，在LLaVA-1.5-7B上性能几乎无损，并减少KV Cache占用，提升推理速度。该方法可兼容主流视觉语言

InSight-doc：面向长文档理解的智能视觉感知框架

InSight-doc 是一种用于长文档理解的智能视觉感知框架，将视觉分辨率视为可自适应调整的推理时资源。它从低分辨率开始，无需外部检索器即可选择性放大高分辨率区域以获取更精细的证据。通过包含17.9K SFT示例和19.2K硬RL示例的训练，InSight-doc-8B在文档VQA基准上提升了4.3-16.4个准确率点，在长文档上将幻觉减少超过40%，推理

Jina AI 发布多模态嵌入模型 v5-omni-small-retrieval

Jina AI 发布了 jina-embeddings-v5-omni-small-retrieval，这是一个多模态嵌入模型，支持文本、图像、视频和音频输入，并生成与文本模型对齐的共享向量空间。该模型约 1.56B 参数，嵌入维度 1024，支持最长 32768 序列，并可通过 Elastic Inference Service 或本地安装使用。该模型在图

llama.cpp b10369 发布：支持 pocket-tts 并优化性能

llama.cpp 发布 b10369 版本，主要更新是支持 pocket-tts 文本到语音模型。该实现将转置卷积重构为 GEMM 加 col2im，使 CUDA 上每帧生成时间降低 80%，CPU 上降低 50%，输出与参考实现高度一致。同时新增了语言包特定参数（如帧尾填充、短文本填充）和模型变体支持，并更新了文档。

Ex-Omni-2D：具有原生视觉呈现的全模态对话模型

Ex-Omni-2D 是一个全模态对话框架，能够生成协调的文本、个性化语音和参考条件视频响应。该模型通过视觉思维计划和蒸馏的流式视频生成器，实现了视觉呈现的对话能力。其共享声学-时间接口支持从异构数据中学习，避免了大规模查询-文本-语音-视频监督的需求。在四步推理下，完整的四 GPU 流水线实现了 1.293 的端到端 RTF，提供了实用的质量-效率平衡点。

ComBodied Agents：以人为中心的代理式AI新范式

Hugging Face 每日论文发布了一篇题为《ComBodied Agents: a New Paradigm of Human-Centric Agentic AI》的论文，提出了一种名为 Combodied Agents 的新范式，将数字代理和具身代理整合到一个闭环框架中，以建模个体人类状态轨迹并提供基于同意、适度的支持。该框架通过事件驱动的多模态感

路标水印：视觉水印共存的联合优化方法

本文提出了一种名为“Signpost Watermarking”的方法，通过联合优化训练不可感知的视觉水印，使其能与独立部署的其他水印系统共存。作者首先实证发现视频水印也具备图像水印中的共存特性，然后引入解码器感知的训练目标，在保持水印鲁棒性和视觉质量的同时，显著提升共存性能。该方法支持分层溯源信号，为内容真实性和版权保护提供了实用路径。

顺序模态丢弃：提升多模态序列推荐的鲁棒性

arXiv 论文提出 Sequential Modality Dropout (SMD)，一种针对多模态序列推荐模型的训练时模态随机丢弃方法。SMD 在训练时独立地以一定概率擦除整个用户交互历史中的图像或文本模态，使模型学会不依赖单一模态进行预测。在四个骨干模型和四个 Amazon 数据集上，SMD 将文本保留率提升 1.0 到 3.2 个点，且几乎不损失全

P3CA：通过空间探测解释视觉基础模型嵌入的编码器无关方法

P3CA是一种编码器无关的方法，通过空间探测解释视觉基础模型嵌入。它利用用户选择的区域估计特征归一化和主协方差方向，并将投影应用于整个张量，以可视化局部信息方向。该方法在EmbedVision中实现，并在自然图像、病理学基础模型嵌入和空间转录组数据上进行了评估。

门控后见蒸馏：利用未来截图提升移动 GUI 代理训练

Gated Hindsight Distillation (GHD) 是一种改进移动 GUI 代理训练的方法，利用未来截图作为特权信息，在标准模仿失败时恢复正确的推理。该方法在 AndroidWorld 和 AndroidLab 上，通过两种视觉语言模型，相比 GRPO 提高了任务成功率。代码和检查点将公开。

Lightricks 发布 LTX-2.3 音视频生成模型，提升质量与提示遵循

Lightricks 发布了 LTX-2.3 模型，这是对 LTX-2 的重大更新，显著提升了音频和视觉质量以及提示遵循能力。该模型基于 DiT 架构，能够在一个模型中生成同步的视频和音频，并提供了多种检查点，包括完整版、蒸馏版和 LoRA 版本。LTX-2.3 支持本地运行，并提供了 ComfyUI 集成和 PyTorch 代码库，旨在实现实用的本地执行。

视觉对齐的图像编辑后续建议：对话系统中的三阶段框架

该论文提出一个三阶段多模态框架，用于在图像创作对话中推荐后续编辑建议。框架结合监督微调、多目标强化学习和视觉验证器，在百万级用户的A/B测试中将视觉不一致率从3.7%降至0.9%，并显著提升推荐点击率、图像采纳率和平均对话轮数。

TNG用低资源将Nemotron 3.5 Lightning扩展为多模态模型

TNG公司（慕尼黑软件咨询公司）在Hugging Face博客上分享了将NVIDIA Nemotron 3.5 Lightning模型扩展为多模态视觉模型的实验。他们采用GLM-5.2 Vision的方法，仅训练一个小的MLP适配器，将现成的视觉编码器（如Kimi K2.6 Vision Tower或NVIDIA C-Radiov4-H）注入模型，在RTX

Google 推进 AMIE 实现专家级视听临床咨询

Google Research 在博客中宣布其医疗 AI 系统 AMIE 升级为支持实时视频问诊的 AMIE (Video)，基于 Gemini 和 Project Astra 构建，采用异步多智能体架构以平衡对话速度与深度推理。在包含 100 个场景、300 次实时咨询和 30 名认证医生的随机对照研究中，AMIE (Video) 首次展示了专家级表现，并

另有 1 家信源报道

谷歌医疗AI系统AMIE首次实现实时临床视频咨询

Google Research 与 Google DeepMind 在首次研究中展示了其医疗 AI 系统 AMIE 的实时临床视频咨询能力。该系统基于 Gemini 和 Project Astra 构建，采用多智能体架构，能够解读视觉和听觉线索，指导虚拟体检并进行实时诊断推理。在模拟咨询的随机研究中，临床评估者对其病史采集、诊断准确性、管理适当性和沟通质量给

另有 1 家信源报道

苹果开发新功能验证iPhone照片真实性，对抗AI深度伪造

苹果正在开发一项名为“Apple Reference Image”的iOS功能，可在拍摄时向iPhone照片嵌入来源元数据，以帮助用户证明照片非AI伪造。该功能在iOS 27测试版中被发现，默认关闭，用户需手动启用，并通过苹果的Private Cloud Compute服务器进行验证。苹果未采用C2PA标准，而是自建系统，这可能为在线平台标记人类创作内容提供

Pixieset 借助 Amazon Bedrock 实现 35% AI 功能采用率

Pixieset 通过 Amazon Bedrock 开发了 AI 图像替代文本生成功能，解决了摄影师为大量图片手动编写 alt text 的痛点。该功能在 4 个月内从概念到上线，首周为超过 75 万张照片生成了替代文本，并实现了 35% 的用户采用率。Pixieset 采用逐步信任的设计，让用户逐张审核 AI 生成的描述，并利用 Bedrock 的跨区域