返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1350 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月10日周四 · 1 条
正文结构化主题已通过公开置信门槛
Google AI一手来源产品发布

AI重现70年爱情故事:纪录片《Love, Rendered》

Google DeepMind 与 Primordial Soup 合作,利用 AI 图像修复和动作捕捉技术,为结婚70多年的夫妇 Burt 和 Ethelle Shatz 重现了他们初次相遇的未记录记忆,制作成纪录片短片《Love, Rendered》。该片由 Liz Garbus 执导,展示了 AI 在记忆恢复和情感连接方面的潜力。技术团队通过生成模型修

9月9日周三 · 18 条
正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

AWS 推出 Ray Serve 深度学习容器,简化 TorchServe 推理工作负载

AWS 发布了 Ray Serve 深度学习容器(DLC),用于替代不再维护的 TorchServe,提供预构建、优化的推理镜像。该容器集成了 PyTorch、Ray Serve、CUDA 等组件,并支持在 Amazon EKS 上部署视觉语言模型(如 Qwen3-VL-2B)。文章详细介绍了部署步骤和架构,旨在简化模型推理的依赖管理和安全补丁更新。

正文结构化主题已通过公开置信门槛
Transformers Releases一手来源产品发布

Transformers v5.17.0 发布:新增 HYV4、VibeVoice 等模型支持

Hugging Face Transformers 库发布 v5.17.0 版本,新增多个模型支持,包括 HYV4、VibeVoice、NeoMME、Fun-ASR-Nano、KimiLinear 和 Canary。这些模型涵盖语言、语音、多模态等不同领域,并引入了多种创新架构。该版本扩展了 Transformers 的模型生态,为开发者提供了更多选择。

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Shipt 推出 AI 购物助手 Ask Shipt

Shipt 是 Target 旗下的当日达配送平台,推出了名为“Ask Shipt”的 AI 购物助手,用户可通过自然语言生成定制购物车,或上传菜品图片自动添加食材。该工具已在 Shipt 应用和网站上可用,是继 Instacart、Uber Eats 和 DoorDash 之后又一采用 AI 助手的配送应用。

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Suno发布v6音乐模型,与华纳等合作

Suno发布新一代v6音乐生成模型,与华纳音乐、BMG和Believe合作开发,提供三个版本,其中v6-mini免费。新模型支持多模态输入和文本指令编辑歌曲部分,但训练数据细节保密。华纳已和解,环球和索尼仍在起诉。

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

亚马逊Prime Video推出AI口型同步配音技术

亚马逊Prime Video推出新AI功能,利用AI和视觉特效技术使演员口型与配音音频同步。该功能目前仅适用于德国剧集《Maxton Hall》的英语配音版,但计划未来扩展至更多内容。此前,Prime Video已在12部影视作品中试验AI辅助配音,而Meta和YouTube也推出了类似的口型同步自动配音功能。

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

OpenAI 发布 ChatGPT Images 2.5:更快更精准,但体验因用户而异

OpenAI 发布了 ChatGPT Images 2.5 图像生成模型,包含 Flare 和 Sunburst 两个版本,分别面向速度和精度。新模型支持更精准的编辑、自然光照和纹理,并引入 Sketch 绘图工具和可分享提示词。API 定价与旧版一致,但新增了更高品质档位,且无批量折扣。测试显示,在 ChatGPT 的 Work 模式下编辑一致性较好,而

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源产品发布

llama.cpp b10873 发布:修复视频 ID 传播问题

llama.cpp 发布 b10873 版本,主要修复了 mtmd 中视频 ID 传播的问题(PR #28601)。该版本提供了适用于 macOS、Linux、Windows、Android 等多个平台的预编译二进制文件,并支持多种硬件后端,如 Vulkan、ROCm、CUDA、OpenVINO 等。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

蚂蚁阿福与河北肿瘤医院合作:AI预测胃癌术后风险取得突破

蚂蚁集团阿福医疗AI实验室与河北医科大学第四医院合作,利用AI分析病理切片和CT影像,开发了DeepComp、RSA和RCSA三个模型,分别用于预测胃癌术后并发症、早期复发和肝转移风险。研究基于数千例患者数据,在多个外部队列中验证了模型的有效性,部分成果已发表于《肿瘤学年鉴》和《自然·通讯》。该合作旨在提高胃癌风险预测的准确性,为临床决策提供更精准的参考,未

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

跨模态扩散模型对抗攻击与防御综述

这篇综述首次统一回顾了扩散模型在图像、视频和3D三种视觉模态下的对抗攻击与防御研究。文章提出了一种以任务为中心的全面分类法,按模态、攻击/防御和生成任务组织文献,并深入分析了评估设置,包括数据集、指标和基准。最后,作者指出了若干开放挑战并提出了具体的未来研究方向。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

CaseWeaver:多智能体框架生成多模态虚拟临床病例

CaseWeaver是一个多智能体框架,用于生成多模态虚拟临床病例。它基于时间线锚定的潜在临床病例图(LCCG)组织患者背景、疾病轨迹和模态证据,通过模态智能体生成临床记录、实验室结果、生理信号和医学图像。评估显示,CaseWeaver在临床可推断性和病例多样性上优于通用模型和智能体工作流基线。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

CrossModalQA:面向多模态检索增强生成的跨模态多跳基准

本文提出了 CrossModalQA,一个用于评估多模态检索增强生成(RAG)的开域基准,包含 1,863 个问答对,基于 4,987 篇维基百科文章和 4,431 张维基共享图片构建,覆盖五种跨模态推理路径,平均推理深度为 3.50 跳。实验表明现有多模态 RAG 系统难以恢复完整证据链,且不完整检索可能引入干扰,导致性能低于闭卷模型;完整跨模态检索比生成

正文结构化主题已通过公开置信门槛
量子位产品发布

SkyProduction限免第二期:MiniMax H3模型免费无限用

SkyProduction(天工工作台)宣布第二期限免活动,9月9日至14日期间,MiniMax H3模型限时免费无限使用,首日会员免费,后续新开会员或充值积分可获赠限免天数。该模型支持文生视频、多模态参考和原生音画生成,旨在降低短剧、广告等创作者的试错成本。活动由昆仑万维旗下平台推出,并整合了剧本生成、翻译、出海改编等创作工具。

正文结构化主题已通过公开置信门槛
OpenAI Node SDK Releases一手来源产品发布

OpenAI Node SDK v7.12.1 发布,支持 GPT Image 2.5

OpenAI 发布了 Node SDK 的 v7.12.1 版本,该版本包含了此前未发布到 npm 的 GPT Image 2.5 模型支持。此版本新增了 GPT Image 2.5 模型及图像选项,并修复了 CI 流程中 Cloudflare 示例回归测试的时序问题。

正文结构化主题已通过公开置信门槛
OpenAI Java SDK Releases一手来源API 更新

OpenAI Java SDK v4.60.0 发布,支持 GPT Image 2.5

OpenAI Java SDK 发布 v4.60.0 版本,新增了对 GPT Image 2.5 模型及图像选项的支持。该更新通过 API 扩展了图像生成能力,为 Java 开发者提供了新的模型调用选项。

正文结构化主题已通过公开置信门槛
正文结构化主题已通过公开置信门槛
Simon Willison's Weblog模型发布

OpenAI 发布 ChatGPT Images 2.5 图像生成模型

OpenAI 发布了 ChatGPT Images 2.5 图像生成模型,改进了多轮指令跟随能力、响应速度及参考照片中主体的保持。API 新增两个模型 ID:gpt-image-2.5-sunburst 和 gpt-image-2.5-flare,前者侧重编辑精度,后者侧重快速生成。Simon Willison 升级了其 CLI 工具以支持参考图像输入。

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

ChatGPT 推出 Sketch 功能,可将涂鸦转为精细 AI 图像

OpenAI 于周二发布 ChatGPT Images 2.5,并新增 Sketch 功能,用户可在 ChatGPT 内绘制草图并基于此生成图像。该功能通过输入 @Sketch 激活,实测可将鼠标绘制的简笔画转换为逼真照片,并支持对图像局部添加修改意见。OpenAI 称新版本图像具有更自然的光照和更丰富的纹理,编辑指令遵循能力更强,延迟较 Images 2.

9月8日周二 · 1 条
正文结构化主题已通过公开置信门槛
魔搭 ms-swift Releases一手来源产品发布

ms-swift v4.5.3 发布:新增多模型支持与性能优化

魔搭 ms-swift 发布 v4.5.3 版本,新增对 Qwen3.8-Flash-Next、DeepSeek-V4-Pro-0813、Ling-3.0 系列等模型的支持,并引入多项新特性,如 Megatron-SWIFT Muon 优化器支持不同学习率、OPD 蒸馏支持多模态、性能优化等。同时修复了训练、RL、Megatron 及多个模型相关的 bug。