返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1352 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

8月4日周二 · 1 条
正文结构化主题已通过公开置信门槛
Mistral AI News一手来源模型发布

Mistral AI 发布开源多模态安全分类器 Shieldstral

Mistral AI 发布了 Shieldstral,一个 3B 参数的开源多模态安全分类器,通过将内容审核构建为策略自适应问答任务,在文本安全方面匹配甚至超越高达其 7 倍规模的模型,并在多模态审核上达到新高度。该模型支持在推理时以自然语言提供政策,无需重新训练即可统一处理文本和图像,并输出校准的安全分数。Shieldstral 以 Apache 2.0

8月3日周一 · 19 条
正文结构化主题已通过公开置信门槛
THE DECODER模型发布

MiniMax H3开源模型首次登顶AI视频排名

中国公司MiniMax发布了H3视频模型权重,成为首个在AI视频排名中登顶的开源模型。该模型拥有330亿参数,能处理文本、图像、视频和音频,生成4至15秒带立体声的片段。尽管2K分辨率模块和H3-Context-IR未开源,但开放权重允许微调,商业使用仅限年收入低于2000万美元的公司。同日,字节跳动发布了闭源的Seedance 2.5模型。

正文结构化主题已通过公开置信门槛
THE DECODER研究

Karpathy 用 Claude Opus 5 将《指环王》段落转化为 3D 场景,探索 AI 游戏生成潜力

OpenAI 联合创始人 Andrej Karpathy 在 Anthropic 工作期间,使用 Claude Opus 5 将《指环王》的一段文字转化为 3D 浏览器场景,生成了 5500 行代码,耗时约两小时,成本约 10 美元。他认为这展示了按需生成廉价定制游戏世界的潜力,但结果更像是一种'氛围测试'而非严格基准。Karpathy 指出模型无法观看自己

正文结构化主题已通过公开置信门槛
量子位模型发布

商汤开源4K直出轻量多模态模型SenseNova U1.5

商汤科技开源了轻量级多模态模型SenseNova U1.5-Lite-Preview,该模型支持4K图像直出、复杂指令理解和精准编辑,采用NEO-Unify架构,在多个评测基准上较上一代有显著提升。该模型旨在提升AI在内容创作和设计工作流中的实用性,正式版即将开源。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论开源

商汤开源SenseNova U1.5-Lite-Preview,原生统一多模态能力再进阶

商汤科技发布了SenseNova U1.5-Lite-Preview,这是基于NEO-Unify架构的原生统一多模态模型的预览版本,以8B-MoT轻量级规模支持4K图像生成、精细编辑和复杂视觉指令遵循。该模型在多个评测基准上显著超越前代U1,并已开源至GitHub、Hugging Face和魔搭社区。商汤表示,U1.5验证了统一架构能力的可持续扩展,并计划近

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
THE DECODER模型发布

阿里发布2.4万亿参数Qwen3.8-Max,主打长期自主任务

阿里巴巴发布了旗舰模型 Qwen3.8-Max,拥有 2.4 万亿参数,专注于自主完成长期复杂任务。在测试中,该模型自主构建软件、复现并改进研究论文结果、运行模拟电商业务,并在芯片设计中大幅优化电路。模型现已可用,权重将于下周发布。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

面向黑暗环境的鲁棒3D感知RGB-NIR成像

本文提出了一种新的RGB-NIR低光成像方法,通过引入3D感知神经建模,在无需干净RGB监督的情况下,隐式融合极噪RGB观测与NIR线索,恢复干净RGB图像。该方法避免了干净RGB数据收集,并能泛化到不同噪声水平,在合成和真实数据上表现优越。代码已开源。

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

水稻病害检测 Swin Transformer 微调模型发布

nqvii 在 Hugging Face 上发布了 swin-tiny-rice-disease 模型,这是基于微软 Swin Transformer 微调的水稻病害图像分类模型,在 rice disease 701515 数据集上达到 87.7% 的准确率和召回率。该模型使用 AdamW 优化器和余弦学习率调度器训练了 35 个 epoch,采用 Apac

正文结构化主题已通过公开置信门槛
AI at Meta Blog一手来源模型发布

Meta 发布 TRIBE v2:首个预测人类大脑反应的 AI 模型

Meta AI 发布了 TRIBE v2,这是首个基于神经科学原理预测人类大脑对视觉、听觉和语言反应的 AI 模型。该模型利用超过 700 名健康志愿者的 fMRI 数据训练,能够高分辨率预测大脑活动,并支持对新对象、语言和任务的零样本预测。Meta 以 CC BY-NC 许可公开了研究论文、模型权重和代码,旨在加速神经科学研究并推动临床应用。

正文结构化主题已通过公开置信门槛
AI at Meta Blog一手来源模型发布

Meta 发布 Muse Spark 多模态推理模型,推动个人超级智能发展

Meta 推出 Muse Spark,这是 Meta Superintelligence Labs 开发的首个原生多模态推理模型,支持工具使用、视觉思维链和多智能体编排。该模型在 meta.ai 和 Meta AI 应用中可用,并开放了私有 API 预览。Muse Spark 在多项任务上表现强劲,其 Contemplating 模式通过并行多智能体推理,在

正文结构化主题已通过公开置信门槛
量子位模型发布

阿里发布Qwen3.8-Max,性能直逼Claude且价格低廉

阿里巴巴发布新一代基座大模型Qwen3.8-Max,总参数量达2.4万亿,在编程、专业工作、长程任务和多模态分析等场景表现突出,在第三方榜单Arena中进入全球第一梯队,直逼Claude系列。该模型定价低廉,国内每百万Tokens输入12元、输出36元,隐式缓存命中仅1.5元,国际价格仅为Opus 5的40%和24%。实测显示其能端到端交付编程项目、进行长文

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

ZeroR@CHiPSAL 2026:两阶段视觉语言适配用于尼泊尔模因分类

本文介绍了ZeroR团队在CHiPSAL 2026共享任务中针对尼泊尔语模因的多模态仇恨言论和情感检测系统。该系统基于Qwen3-VL-8B-Instruct模型,采用两阶段训练流程,包括LoRA微调和对比学习,最终在仇恨言论检测中排名第二(F1: 0.797),在情感分析中排名第四(F1: 0.518)。

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

CyberNeuro:面向队列级神经影像与临床数据隐私保护智能体工作台

arXiv 论文介绍了 CyberNeuro,一个用于大规模神经影像和临床数据分析的隐私保护智能体工作台。它通过四个专用智能体(Planner、Validator、Dispatcher、Reporter)和本地 LLM 模型 WandaMind,支持自然语言执行复杂工作流,同时保持临床级数据隐私。在 NeuroBench 基准上,CyberNeuro 将保留

正文结构化主题已通过公开置信门槛
arXiv cs.SE一手来源研究

DragonCrawl:基于意图的生成式移动端到端测试框架

DragonCrawl 是一个基于大语言模型的移动端端到端测试框架,从嵌入相似度匹配演进到生成式意图推理,利用 GPT-4o 的多模态能力在 CI/CD 中持续验证用户流程。该系统在 iOS 和 Android 上分别达到 91.6% 和 92.2% 的通过率,将测试接入时间从 96-120 小时缩短至 4 小时以内,并节省了约 27 人年的维护工作量。论文

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

不确定性感知的多视角结构学习深度伪造检测

该研究提出了一种基于多视角结构学习的不确定性感知深度伪造检测框架,通过视觉、语义和结构三个流整合互补证据,并引入分支间分歧校准(IBDC)机制将预测不确定性与证据冲突关联。在FaceForensics++训练集上的跨数据集实验表明,该方法在多个分布外基准上实现了最先进的泛化性能,同时改善了校准和选择性预测能力,为分布偏移下的可信深度伪造检测提供了稳健基础。

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

ReLoop-UME:基于可学习检索寄存器的循环深度通用多模态嵌入

arXiv 上发表了一篇关于通用多模态嵌入(UME)的论文,提出 ReLoop-UME 模型。该模型通过循环复用参数共享的检索形成块,并引入可学习的检索寄存器,在不增加 token 工作区的情况下沿模型深度扩展计算。实验表明,ReLoop-UME 在 MMEB-V2 和 MRMR 基准上持续提升检索性能,且运行速度比 UME-R1 快 44.9 倍,比 PL

正文结构化主题已通过公开置信门槛
arXiv cs.MA一手来源研究

SeekBrain:加速神经科学发现的自主多智能体系统

arXiv 论文介绍了 SeekBrain,一个自主多智能体框架,旨在通过领域基础的层次规划和跨模态数据分析加速神经科学发现。该框架从代码-论文对中动态构建分析配方库,并耦合智能体规划与执行引擎,按需生成假设和分析流程。在 BrainArena 基准上的评估显示其性能优于现有智能体基线,并在斑马鱼和小鼠真实数据中揭示了神经表征结构。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

智象未来发布无限时长视频智能体vivago R1,实测土耳其风格短片表现惊艳

智象未来在2026年WAIC大会上发布全球首个无限时长多模态创作智能体vivago R1,并宣布完成C轮融资,近三个月累计融资超20亿元。该产品通过自研模型与聚合第三方模型(如Sora 2、可灵、Veo)结合,采用Agent编排实现长视频生成,实测显示其在叙事一致性、风格保持方面表现优异,但底层仍为分段拼接。

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

N 0-VTLA:带潜在触觉令牌的视觉-触觉-语言-动作模型

N 0-VTLA 是一个视觉-触觉-语言-动作(VTLA)基础模型,通过触觉感知和反馈控制实现精细的接触丰富操作,并支持从部署数据中进行离线策略改进。该模型采用视觉-触觉预训练、分阶段触觉通路集成和优势条件离线强化学习(ALTER)的训练方案,在九个真实机器人任务中全部获胜,并在二十任务模拟套件中达到63.8%的平均成功率,显著优于最强基线。

正文结构化主题已通过公开置信门槛
Hugging Face Blog一手来源模型发布

FLUX 3 发布:统一多模态流模型,支持图像视频音频与动作预测

Black Forest Labs 发布了 FLUX 3,这是一个统一的多模态流匹配基础模型,支持图像、视频、音频和动作预测。其核心创新是 Self-Flow 框架,通过自监督特征重建目标同时提升生成质量和表征质量,在机器人操作任务中成功率从 42% 提升至 71%。FLUX 3 支持长达 20 秒的同步音频视频生成,并计划后续开放 Dev 权重。