返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1341 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月6日周五 · 20 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Thinking Machines 发布 Inkling 2 Small,称最强西方开放权重模型

前OpenAI CTO Mira Murati 创办的 Thinking Machines 发布第二代模型 Inkling 2 Small,这是一个总参数 5940 亿、每次激活 170 亿的混合专家模型,支持文本与图像输入并可调节思考深度。其在 Artificial Analysis 智能指数上得分 31,比前代提升 18 分,与 Gemini 3.8 F

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

MiniCPM-V-4.7-1B 去审查多模态变体发布

开发者 saidutta69 在 Hugging Face 发布了 MiniCPM-V-4.7-1B-heretic,这是基于 openbmb/MiniCPM-V-4.7-1B 的去审查(decensored)变体,使用 Heretic v1.4.0 的方向性消融(abliteration)技术,通过定向修改注意力输出和 MLP 下投影的权重来抑制拒绝行为,

正文结构化主题已通过公开置信门槛
Latent Space模型发布

Thinking Machines 发布 Inkling 2 Small:594B MoE 模型,68 小时完成预训练

Thinking Machines 发布 Inkling 2 Small,这是一个总参数 594B、激活参数 17B 的多模态 MoE 模型,在 GB300 上以原生 NVFP4 精度用 68 小时完成预训练,主预训练阶段消耗 8.4T tokens。模型已在 Tinker 平台上线,Apache 2.0 权重承诺在下周外部安全测试完成后开放。独立评测显示其

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

小米 MiMo-V2.6 去审查变体发布:拒答率降至 8/100

开发者 saidutta69 在 Hugging Face 发布了 MiMo-V2.6-Distill-Qwen-9B-heretic,这是对小米 MiMo-V2.6-Distill-Qwen-9B 的「去审查」微调变体,使用 Heretic v1.4.0 的方向性消融(abliteration)技术,通过定向修改注意力输出与 MLP 下投影权重来抑制拒答行

正文结构化主题已通过公开置信门槛
OpenCompass Releases一手来源开源

OpenCompass 发布 v0.5.5:新增多领域评测基准并重构文档与 CI

OpenCompass 发布 v0.5.5 版本,新增 CritPt、General365、AA-OmniScience、AA-LCR v1.1、HLE-Diamond、arena-hard-v2、ReasonZoo、MaritimeBench、WMT19 等覆盖物理、推理、长上下文、对齐、幻觉、生物医学、翻译和多模态评测的基准,并通过 VLMEvalKit

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

ACM MM重构研究主题体系,新增具身多媒体与多媒体推理

ACM Multimedia(ACM MM)学术指导委员会投票通过新的研究主题体系,将过去的五大主题、15个子方向改为16个平级研究主题,并将在2026年会议上生效。新增「具身与沉浸式多媒体」和「多媒体推理」两个独立主题,同时将「视觉与语言」扩展为「多媒体与语言」,合并基础模型与生成式多媒体主题,并把「生成式AI的社会影响」改为「负责任的多媒体」。这一调整反

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

面向物理 GUI 交互测试的多模态机器人框架

该博士研究提出 RFNIT,一个多模态、完全非侵入式的机器人框架,用于在智能手机上进行物理 GUI 交互测试。框架结合基于视觉的感知模块、LLM 驱动的推理智能体和可执行触摸、滑动、打字手势的机器人执行器,通过外部摄像头图像与 OCR 文本识别 GUI 元素。初步结果显示其对外部摄像头输入中的按钮、文本框和虚拟键盘识别准确率超过 85%,未来将提升鲁棒性、可

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

CineAssist:以电影语言为中介的意图驱动人机视频共创系统

研究者提出 CineAssist,一个以电影语言为中介的人机协同视频创作系统,将用户的高层叙事意图转化为可执行的电影化参数控制。系统构建了电影语言设计空间,并从 107 个电影制作来源和 1,436 个影片片段中构建标注数据集,结合多智能体工作流(意图感知器、策略推荐器)、交互式电影编辑器和上下文偏好学习器。三项用户研究显示,该系统能实现高效、可控且个性化的

正文结构化主题已通过公开置信门槛
量子位产品发布

即梦短剧工作室实测:剧本分镜预演一条龙

量子位实测了即梦短剧工作室,该产品将剧本生成、资产库管理、分镜脚本、智能预演和局部重拍等环节整合在同一项目中,支持从一句话灵感或已有剧本出发制作连续剧集。文章还介绍了即梦整合小云雀短剧agent能力、推出短剧机构伙伴计划及IP对接和现金积分激励,并公布Seedance 2.5双十一优惠价格。

正文结构化主题已通过公开置信门槛
Google Gen AI Python SDK Releases一手来源API 更新

Google Gen AI Python SDK 发布 v3.0.0,含多项破坏性变更

Google 发布 Google Gen AI Python SDK v3.0.0,包含多项破坏性变更:Gemini Developer API 默认版本从 v1beta 改为 v1(Vertex AI 不受影响),默认 HTTP 客户端从 httpx 换成 httpx2 且 httpx 不再默认安装,interactions 中 CodeExecution

正文结构化主题已通过公开置信门槛
量子位模型发布

腾讯Hy4调用激增十倍扩容,Agent能力居开源模型第一

腾讯于11月4日发布新一代大语言模型混元Hy4,首次引入视觉理解能力,并扩展了预训练与后训练规模。由于WorkBuddy平台调用量激增,腾讯在11月5日宣布对Hy4推理集群进行十倍扩容并提升免费额度。Hy4在Artificial Analysis智能指数榜单中位列中国模型第二,在Agent Arena榜单中居开源模型第一,单任务成本约0.78美元,显著低于同

正文结构化主题已通过公开置信门槛
TechCrunch AI产品发布

Meta 向全美用户开放 Muse AI 虚拟形象视频通话功能

Meta 宣布其 Muse Voice 功能已向全美用户开放,用户可通过手机、网页和 Mac 与 Muse AI 智能体进行语音通话和视频聊天。该功能于 9 月 Connect 开发者大会首次亮相,依托 Muse Realtime Avatar 和 Muse Realtime Voice 技术驱动可定制的动画虚拟形象,并配合对话语气做出细微表情和手势。Met

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源教程

用 NVIDIA Nemotron 语音智能体打造万圣节暴躁怪兽屋

NVIDIA 员工在万圣节项目中打造了 MonsterHouse:一个由车库门改造的互动投影装置,能聆听讨糖孩子说话,并以暴躁老海盗船的口吻回应。系统基于 NVIDIA Nemotron Voice Agent 构建,集成 Nemotron ASR、Nemotron 3.5 Bolt E4B 4GB 小语言模型、Magpie TTS Zeroshot 和 A

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

Google Gemini Omni 1.2 Flash 视频延长至15秒并降价30%

Google DeepMind 将 Gemini Omni 1.2 Flash 视频生成模型正式开放使用,该模型可生成最长 15 秒的视频片段,支持对话式编辑,价格较前代下降 30% 至每秒 0.07 美元(720p)。模型通过 Gemini API、Google AI Studio、Google Cloud Console、Flow、Google Vids

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Meta 的 Muse AI 智能体新增语音模式与动态虚拟形象

Meta CEO 马克·扎克伯格宣布,其 AI 智能体 Muse 现已支持实时语音对话,并配有在聊天时同步动画的“表情丰富”虚拟形象。该功能已在美国的 Muse 应用中上线,用户可通过语音指令或设置调整语音语调。Meta 表示,该功能将“很快”登陆其 AI 眼镜,并将在今年晚些时候推出的 Muse Charm 设备上提供。

另有 2 家信源报道

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源教程

亚马逊如何用SageMaker AI评估A+内容质量

亚马逊在AWS机器学习博客中介绍了Amazon Marketplace如何利用Amazon SageMaker AI评估A+ Content内容质量。方案将完整商品详情页渲染为单张快照,用视觉语言模型(VLM)整体评估,再结合OCR可读性信号,通过基于专家标注训练的CatBoost分类器融合打分,并用SHAP解释质量决策、生成改进建议。该方案旨在帮助卖家提升

正文结构化主题已通过公开置信门槛
智东西观点

智象梅涛提出构建智能体化全模态世界模型

在2026世界顶尖科学家论坛第二届国际工程智能大会上,加拿大工程院外籍院士、智象元一(HiDream.ai)创始人兼CEO梅涛发表演讲,提出构建智能体化的全模态世界模型(Agentic Omnimodal World Models),认为大语言、多模态和具身大模型三条路线终将汇流。智象自研Unified Transformer全模态架构,搭建从图像、视频、交

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Google DeepMind News一手来源模型发布

Gemini Omni 1.2 Flash 发布:支持15秒视频并降价30%

Google DeepMind 发布 Gemini Omni 1.2 Flash,并在 Gemini API 和 Gemini for business 中全面开放。新版本支持原生 15 秒视频生成、多轮对话式编辑和更强的参考一致性,720p 视频价格较 1.1 版下降 30% 至每秒 0.07 美元。该模型面向企业、开发者和创作者的大规模视频生产,输出带

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

腾讯发布Hy4:支持视觉与电脑操作,称在中国AI模型中排名第二

腾讯发布AI模型Hy4,首次支持图像理解与自主操作软件,并针对编程、金融和办公场景优化。腾讯称其已进入最强开放权重模型之列,但权重将后续发布,目前仅通过腾讯云、OpenRouter和元宝等应用提供。独立评测中Hy4在中国模型中排名第二,但在高难度数学和编程任务上明显落后于Claude Opus 5.5等顶级模型。

正文结构化主题已通过公开置信门槛
Google Research Blog一手来源研究

Google 用智能手表传感器被动检测高血压迹象

Google Research 在 Nature 发表研究,提出 AI-PPG-ACC-HTN 多模态 AI 系统,利用智能手表的光电容积脉搏波(PPG)和加速度计(ACC)传感器被动检测高血压迹象,无需袖带校准。该系统采用自监督对比学习训练一维深度卷积网络,并在 196 名参与者的多中心前瞻性研究中以 24 小时动态血压监测为金标准验证,初筛灵敏度 65.

另有 1 家信源报道