返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1351 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月12日周三 · 1 条
正文结构化主题已通过公开置信门槛
Microsoft Research Blog一手来源研究

微软研究院推出 CARE-X:面向临床胸部 X 光解读的统一视觉语言模型

微软研究院发布了 CARE-X,一个面向胸部 X 光片解读的统一视觉语言模型,旨在通过生成式与判别式结合、奖励对齐学习和工具增强测量来提升临床实用性。该模型在 Narayana Health 的真实印度临床数据上验证,覆盖 ICU 罕见病理和 CT 确认的增大病症。研究还探索了将 Qwen3-VL-4B-Instruct 与确定性测量工具结合,以改善依赖测量

8月11日周二 · 8 条
正文结构化主题已通过公开置信门槛
NVIDIA Generative AI Blog一手来源产品发布

NVIDIA 与社区推动开源模型和智能代理发展

NVIDIA 在八月庆祝本地 AI 生态,发布多款新模型和工具,包括 Cosmos 3 Edge、MiniMax-H3、Laguna S 2.1、DeepSeek-V4-Flash、Inkling-Small、Wan-Animate-2 和 LTX-2.5,并支持 Meta 的 Muse Glimmer 模型。这些模型和工具旨在推动本地 AI 和智能代理的发

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

NeuroPilot:智能代理驱动的神经影像处理与质量控制流水线

NeuroPilot是一个多智能体系统,将神经影像处理、质量控制和数据管理数字化为三个LLM可调用的技能。该系统在17个队列(超过123,000名受试者)中部署,覆盖从婴儿到老年的多种MRI模态。QC代理筛选了558名生产受试者,婴儿处理流程在QC验证输入上实现了100%的完成率,并将传统2-3个月的训练和数据处理时间压缩到一周。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

PragyaDoc:低资源环境下的多语言医疗文档智能理解框架

arXiv 发布论文介绍 PragyaDoc,一个面向低资源环境的多语言医疗文档理解框架。该框架通过四层流水线(并行集成 OCR 提取、几何词汇融合、确定性领域结构化、双 LLM 医学推理与定位)解决印度 22 种官方语言导致的医疗文档可访问性障碍。其目标用户包括农村人口、ASHA 工作者和患者家属,旨在提升医疗信息的可理解性。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

DocAtlas:将长文档理解视为可变状态交互

DocAtlas 是一个将长文档理解视为可变状态交互过程的系统,通过外部环境管理文档信息的搜索、读取、存储和展示。该系统结合了自改进检索、选择性证据访问和主动工作记忆,在固定上下文预算下运行。使用 GPT-5.4 时,DocAtlas 在 MMLongBench-Doc 上达到 71.4% 的准确率,超过人类专家参考水平;用 Qwen3.5-4B VLM 进

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

多模态大语言模型安全格局演变:新兴威胁与防护综述

这篇arXiv论文对多模态大语言模型(MLLMs)的安全格局进行了系统性综述,提出了基于多模态的威胁分类法,涵盖对抗攻击、数据投毒、越狱和幻觉等威胁,并分析了威胁模型的变化。文章还总结了更新的安全假设和近期安全策略进展,最后讨论了开放挑战和未来方向,以推动多模态系统更规范、可扩展的安全机制发展。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

大语言模型在结直肠息肉光学诊断中的性能评估

一项发表在 arXiv 上的研究评估了多种多模态大语言模型(MLLMs)在结直肠息肉光学诊断中的表现。研究使用 PRIME 数据集,比较了 Claude Opus 4、Gemini 2.5 Pro、GPT-o3、GPT-4o 和 GPT-5 的分类准确性。结果显示,所有模型在区分肿瘤性与非肿瘤性息肉方面 F1 分数均高于 0.9,但 Gemini 2.5 P

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

Evidence-RL:面向证据密集型视觉推理的反事实证据解缠方法

Hugging Face Daily Papers 发布了一篇题为《Evidence-RL: Towards Evidence-intensive Visual Reasoning》的论文。论文提出了一种名为反事实证据解缠(CED)的训练时证据审计方法,用于增强视觉语言模型(VLM)的接地能力。CED 通过中和对象中心的证据区域并比较支持度下降,结合 GRP

正文结构化主题已通过公开置信门槛
量子位研究

五大高校联合发布首个机器人三视角世界模型评测榜单

北京大学、清华大学、北京航空航天大学、上海交通大学、中国科学技术大学联合发起首个机器人三视角世界模型评测榜单TriWorldBench,并公布首周结果。榜单聚焦多视角一致性与物理理解,CASIA-DRL、TONGJI Spatial Intelligence Team和Fysics AI的模型位列前三。该评测旨在推动世界模型从视觉生成向具身认知演进,并提供细

8月10日周一 · 11 条
正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

对抗性攻击用于善:视觉内容生命周期主动保护综述

这篇综述论文探讨了“对抗性攻击用于善”的保护范式,即在视觉内容生命周期中,数据所有者、创作者、平台或审计者应用扰动和结构化信号来干扰未经授权的自动化或支持事后问责。论文识别了五个独立研究社区,分别针对隐私过滤、不可学习示例、生成式防护、对抗性验证码和溯源机制。评估发现大多数保护措施仍主要针对静态或弱自适应对手进行验证,缺乏受控基准之外的证据。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

FATE:帧级音视频时间嵌入方法

FATE是一种帧级音视频时间嵌入方法,旨在同时捕捉语义和时间对齐。与现有嵌入模型和同步模型不同,FATE保留帧级序列并在物理时间线上对齐,通过联合目标训练。在三个任务上,FATE在时间和语义检索上大幅超越最强基线,在零样本事件定位上匹配全监督方法,并作为生成评估指标与人类判断相关性最佳。源代码已公开。

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布

Meta 发布 Muse Glimmer:开源多模态模型,支持图像视频与工具调用

Meta 发布了 Muse Glimmer,一个 30B 参数的开源多模态模型,包含 2B 视觉编码器和 28B 文本解码器,支持图像、视频和工具调用。该模型在 transformers、llama.cpp、vLLM 等库中获得首发支持,并采用混合注意力、门控分组查询注意力等架构优化。Muse Glimmer 还提供了可选的投机解码模块,以加速生成。

正文结构化主题已通过公开置信门槛
Ollama Releases一手来源模型发布

Ollama 支持 Meta 新开源模型 Muse Glimmer,可在 Apple Silicon 本地运行

Ollama 在 v0.32.7 版本中宣布支持 Meta 最新开源模型 Muse Glimmer,这是 Meta Superintelligence Labs 发布的首个模型,为 30B 多模态模型,专为本地 agent 工作负载设计。目前该模型仅通过 Ollama 的 MLX 引擎在 Apple Silicon 上提供初始支持,NVIDIA、AMD 等平

正文结构化主题已通过公开置信门槛
Transformers Releases一手来源产品发布

Transformers v5.15.0 发布:新增 Muse Glimmer 等多模型支持

Hugging Face Transformers 发布 v5.15.0 版本,新增多个模型支持,包括 Meta 的 Muse Glimmer(30B 参数多模态模型,专为智能体场景设计,Apache 2.0 许可)、IBM 的 GraniteSWA/GraniteMoeSWA、SKT 的 A.X-K1/K2 和 Cosmos3 Edge。该版本还包含多项破

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

OneEmo:统一多模态情感推理模型

OneEmo是一个统一的多模态情感推理模型,能够处理情感感知、理解和交互任务。研究团队构建了EmoWorld-130K数据集,通过人类参与的工作流程将专业知识转化为推理轨迹,并提出Emo-Chord强化学习策略来优化多任务学习。实验表明,OneEmo在多数基准上达到最先进性能,且参数远少于商业模型。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

超越环境规模扩展:设计有效的多模态智能体环境分布

该研究重新审视了多模态智能体训练中环境规模扩展的常见范式,发现单纯增加环境数量并不总能提升性能,多模态环境尤其容易产生负迁移和优化冲突。为此,作者提出能力感知环境选择(AES)和分层难度课程(HDC)两种方法,分别从多样性和难度结构两个维度设计更有效的环境分布。实验表明,精心设计的环境分布能显著优于朴素的环境扩展,并带来更好的训练效果和泛化能力。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

C4 框架:评估多模态大语言模型的跨概念创造力

Hugging Face 每日论文介绍了一项名为 C4 的评估框架,用于测试多模态大语言模型(MLLMs)的跨概念创造力,该框架基于中文成语设计。研究构建了包含 184 个合成项目和 37 个人类创建项目的 C4-Eval 数据集,并在十个 MLLM 上进行了评估。结果显示,最强的闭源模型准确率约为 50%,而开源模型显著较低,揭示了当前 MLLMs 在解码

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

TransSLR:用于手语识别的轻量级 Transformer

arXiv 论文提出 TransSLR,一种轻量级时间 Transformer 编码器,用于手语识别,针对中非手语(CASL)等低资源语言。TransSLR 在 CASL-W60 基准上达到 80.39% 的准确率,比之前最好成绩提升 10.46%,且计算开销低,适合资源受限环境。

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

从失语症命名错误谱逆向恢复大语言模型损伤参数

该研究提出从失语症图片命名错误谱中逆向恢复大型语言模型(LLaVA-Vicuna 13B)的损伤参数(层索引、修改百分比、噪声sigma),并训练多任务神经网络实现映射。结果显示修改百分比和噪声sigma可恢复,层索引仅能近似恢复,但反事实验证中恢复参数能高保真复现目标行为(81.4%),表明Transformer层存在功能冗余。在278名中风幸存者的错误谱

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

InsertFuse:多类别参考引导图像插入的统一框架

arXiv 论文提出 InsertFuse,一个用于多类别参考引导图像插入的统一框架。其核心思想是将类别特定专家学习与跨类别能力整合解耦,通过插入在策略蒸馏(IOPD)将多个专家能力整合到单一学生模型中。此外,引入 Token 对齐几何条件(TAGC)和区域平衡流匹配以提升空间控制,以及参考 CFG 增强参考引导。在 AnyInsertion 基准和自建多类