返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1352 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月5日周三 · 2 条
正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.6-35B-A3B 无审查多模态模型 Genesis Hermes V6 发布

LuffyTheFox 发布了基于 Qwen3.6-35B-A3B 的无审查多模态 MoE 模型 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V6-GGUF,该模型通过其自研的 Genesis 算法对张量进行噪声修复,无需重新训练即可提升模型稳定性和输出质量。模型融合了 Hermes 微调数据,支持多语言和视觉任务,并

正文结构化主题已通过公开置信门槛
NVIDIA Technical Blog一手来源研究

NVIDIA 提出世界动作模型,Cosmos 3 助力机器人操作泛化

NVIDIA 技术博客探讨了从视觉-语言-动作模型(VLA)向世界动作模型(WAM)的转变,指出 WAM 基于视频世界模型构建,能更好地泛化物理交互。NVIDIA 发布了 Cosmos 3 世界基础模型,并基于其训练了 DROID 机器人策略,实验显示 omni 检查点将成功率从 28.1% 提升至 36.8%。

8月4日周二 · 18 条
正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

GEOID-Flood:大规模多模态洪水分割基准数据集

GEOID-Flood是一个大规模多模态洪水分割基准数据集,基于Copernicus应急管理服务数据,覆盖65个国家219起事件,包含超过14,000个瓦片,提供配准的灾前/灾后Sentinel-1(GRD和RTC格式)、灾前Sentinel-2合成影像和DEM,并带有手动验证的标签。研究评估了基础模型与传统编码器在单图像、多时序和多模态协议下的表现,发现基

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

ICDAR 2026 竞赛:ALD/E 科学图表信息提取基准发布

ICDAR 2026 举办了一项关于原子层沉积/蚀刻(ALD/E)科学图表信息提取的竞赛,并发布了 Sci-ImageMiner 基准数据集。该竞赛吸引了 68 名参与者和 1263 次提交,结果显示多模态模型在分类和摘要任务上表现良好,但在数据提取和科学推理方面存在不足。该基准和竞赛为科学图表理解提供了评估平台。

正文结构化主题已通过公开置信门槛
Microsoft AI Blog一手来源研究

微软与Paige发布病理学基础模型PRISM2

微软研究院与Paige(现为Tempus旗下)合作开发了病理学基础模型PRISM2,该模型基于组织图像和真实病理报告中的语言进行训练。在多项基准测试中,PRISM2在前列腺癌、乳腺癌和乳腺淋巴结转移检测等任务上达到或超过了专门的癌症检测系统,且无需为每个任务单独建模。PRISM2的完整模型权重已在Hugging Face上公开发布,供研究使用。

正文结构化主题已通过公开置信门槛
Google AI一手来源产品发布

谷歌2026年7月AI新闻:新Gemini模型、机器人技术与创意工具

谷歌在2026年7月发布了一系列AI更新,包括推出三款新的Gemini模型(3.6 Flash、3.5 Flash-Lite和3.5 Flash Cyber)以提升代理工作流的效率,以及发布Gemini Robotics ER 2模型以增强机器人的具身推理能力。此外,谷歌还扩展了创意工具,如Lyria 3.5音乐生成模型和Google Vids的视频生成功能

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源研究

商汤与NTU推出NEO-unify:原生统一多模态模型新范式

商汤科技与南洋理工大学联合推出NEO-unify(预览版),这是一种原生、统一、端到端的多模态模型范式,无需预训练编码器或VAE。该模型通过自建表示空间直接学习近无损输入,结合Mixture-of-Transformer架构和统一的文本与视觉生成学习。初步实验显示,NEO-unify(2B)在图像重建和编辑任务上表现良好,并展现出更好的数据扩展效率。团队计划

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

几何引导的视觉-语言混合专家负载均衡方法 ReBA

Hugging Face 每日论文发布了一篇关于视觉-语言混合专家模型负载均衡的研究。论文提出 ReBA 方法,通过分别平衡图像和文本的负载、以图像为单位进行路由决策,解决了标准辅助损失在混合负载下可能隐藏模态特定不平衡的问题。实验表明,ReBA 在四个视觉-语言 MoE 骨干网络上降低了负载不均衡,同时保持了任务准确率。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

DeepVoyager-VL:激励长时程多模态智能体的视觉在环搜索

DeepVoyager-VL 是一个用于长时程多模态智能体的视觉在环搜索框架,通过构建多模态事件图驱动数据合成,设计主动视觉获取和按需图像加载的智能体框架,并在合成数据上微调模型,无需强化学习。在十个多模态搜索基准上的实验证明了其有效性,推动了多模态深度研究智能体的发展。

正文结构化主题已通过公开置信门槛
量子位商业

前海母基金数亿元押注Om AI联汇,开源VLX-Seek 1.5加速端侧物理AI落地

杭州联汇科技(Om AI联汇)完成数亿元融资,由前海母基金领投,杭州政府产业基金等参投。公司同时开源VLX-Seek 1.5端侧多模态模型,性能超越英伟达同类模型,资金将用于技术迭代和物理AI商业化。公司已与联想、苹果合作,并推出可穿戴AI产品服务视障用户。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

3DZip:面向3D问答的空间感知特征多样性引导令牌压缩

Hugging Face 每日论文发布了一篇题为《3DZip: Spatial-Aware Feature Diversity-Guided Token Compression for 3D Question Answering》的研究论文。该论文提出了一种名为3DZip的三阶段令牌压缩框架,用于3D视觉语言模型,通过粗体素化、基于特征多样性的锚点选择以及空

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

UEmbed:统一稀疏与稠密的多模态嵌入模型

Hugging Face 每日论文介绍了 UEmbed,一种仅解码器的多模态嵌入模型,能在一次因果前向传播中同时生成稀疏词级和稠密表示。UEmbed 通过添加可学习特殊标记并将词汇表划分为不相交子集来实现稀疏预测,发布了 2B、4B 和 9B 三种规模,其中 9B 模型在 MMEB-v2 上达到 71.8(稠密)和 71.0(稀疏)的分数,优于现有公开数据训

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

PhysAgent:用于可靠远程心率估计的多智能体框架

PhysAgent是一个用于远程心率估计的多智能体框架,由arXiv论文提出。该框架利用多个基础估计器生成候选心率,并通过轻量级4B多模态大语言模型Qwen3-VL-4B驱动多智能体推理,结合确定性生理验证器进行融合,以提高心率估计的稳定性和可靠性。实验表明,PhysAgent在多个公共基准上优于直接预测和传统融合方法,代码即将发布。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

SafeBuild-Bench:面向建筑安全的时序鲁棒基准与图增强数据挖掘

SafeBuild-Bench 是一个用于评估多模态大语言模型在建筑安全场景下表现的新基准,基于超过10万条工业图像-文本记录构建,包含3314个任务实例。该基准引入了图增强多模态选择流程 GEMS,以从冗余数据中筛选信息量大的样本。当前最佳模型在基准上的得分约为60,表明现有模型在建筑安全理解方面仍不可靠。相关基准、评估脚本和代码已开源。

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

重新思考专业设计数据的预训练:JONES-19 数据集的证据

arXiv 上发布了一篇关于设计数据预训练的研究论文,基于 JONES-19 文化设计数据集,比较了 ImageNet 预训练与从零开始训练 CNN 的性能。研究发现,虽然 ImageNet 预训练能提升判别性能,但通过多裁剪局部采样从零开始训练也能达到类似效果,表明在专业设计领域,精心策划的小型高质量数据集可能比大规模通用预训练更有效。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

PHA-Net:基于原型的文本-视频检索分层对齐网络

本文提出了一种名为PHA-Net的原型分层对齐网络,用于文本-视频检索任务。该方法通过引入模态共享原型作为桥梁,并设计原型支持的令牌合并模块和原型对比损失,以高效优化跨模态对齐。在MSR-VTT、ActivityNet、VATEX和Charades四个基准上,PHA-Net在召回率总和上分别提升了8.8%、19.2%、0.7%和4.9%,验证了其有效性。

正文结构化主题已通过公开置信门槛
Latent Space模型发布

Qwen3.8-Max发布:2.4T参数开源模型,主打编码与多模态智能体

阿里巴巴发布Qwen3.8-Max,一个2.4T参数的MoE模型,专注于编码、长程智能体任务和多模态推理,并承诺下周开源权重。该模型在多个基准测试中表现优异,如Frontend Code Arena排名第四,并展示了自主编码、芯片设计和电商策略等能力。API定价为每百万输入token 2美元,输出6美元。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

StyleForge:基于超图反事实推理的室内家具风格搭配

StyleForge 是一个用于固定布局室内家具风格搭配的框架,它利用动态超图风格场和反事实推理来确保家具在形状、材质和颜色上的协调。该方法通过多模态大语言模型提取风格先验,并在推理时通过测试时训练优化候选选择。在 3D-FRONT 数据集上的实验表明,StyleForge 在家具检索和场景级风格一致性方面优于现有基线。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

VAD:多模态同策略蒸馏中的视觉证据归因目标重建

本文提出视觉归因蒸馏(VAD),一种用于多模态同策略蒸馏的反事实目标重建算法,通过评估教师模型在有/无视觉证据时的输出差异,估计纠正信号中由视觉证据支持的部分。在4B和9B规模的六个细粒度视觉基准上,VAD优于直接特权视图蒸馏和视觉优势加权方法。结果表明,反事实目标重建是源混合监督的有效替代方案。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

三星收缩中国手机业务;阿里发布Qwen3.8-Max;DeepSeek日处理8万亿Token

三星被曝收缩中国手机业务,将清退月销售额不足30万元的门店,以应对市场份额仅0.1%的困境。阿里巴巴发布Qwen3.8-Max模型,带动港股上涨,并推出千问办公产品。DeepSeek V4 Flash单日处理8万亿Token,OpenAI被迫降价。智元官网披露合伙人团队,蚂蚁灵波确认融资传闻,MiniMax H3开源获多芯片适配。