返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1341 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

11月5日周四 · 19 条
正文结构化主题已通过公开置信门槛
TechCrunch AI商业

Dropbox 以 3.5 亿美元收购 Tigris Data 强化 AI 基础设施

Dropbox 宣布以 3.5 亿美元收购云存储技术公司 Tigris Data,这似乎是其迄今最大的一笔收购,旨在强化 AI 基础设施能力并支持面向企业和 AI 模型/智能体开发者的新存储平台 DBX Agent Cloud。交易预计 2026 年第四季度完成,Dropbox 表示不会因此裁员。DBX Agent Cloud 初期提供兼容 Amazon S

正文结构化主题已通过公开置信门槛
Hugging Face Daily Papers一手来源研究

从像素到动作:原生视觉-语言-动作策略 NEO-VLA

该论文提出 NEO-VLA,一个结构上无编码器的视觉-语言-动作(VLA)框架:图像由轻量 patch 卷积层 token 化,并与语言在主干网络中共同演化,使 flow-matching 动作专家能够从不同深度的指令条件视觉表示中提取信息。受控对比显示,原生架构优于基于编码器的方案,全量微调可缩小但无法消除差距,单纯扩大规模也无法弥补;逐层探测表明动作关键

正文结构化主题已通过公开置信门槛
量子位观点

智象梅涛提出智能体化世界模型,三条AI技术路线或将合流

在2026世界顶尖科学家论坛国际工程智能大会上,智象元一(HiDream.ai)创始人兼CEO梅涛提出构建智能体化的全模态世界模型(Agentic Omnimodal World Models),认为大语言、多模态和具身大模型三条技术路线终将汇流。该架构由LLM决策大脑、Omni-Model世界模拟器和Embodied Context具身上下文三部分组成,目

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
量子位产品发布

网易有道上线互动式数学讲题Agent「欧拉讲题」

网易有道推出互动式数学讲题Agent「欧拉讲题」并已在应用市场上线,产品通过分步骤讲解、个性化互动追问和动态板书画图推演,帮助学生理解解题思路而非仅获取答案。该产品依托有道自2006年以来的学习场景积累及「子曰」系列模型(含开源的子曰-o1和升级的子曰4多模态模型)的技术能力,试图从搜题工具转向专注教学过程的学习Agent。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

ACM MM 2026四位主题演讲嘉宾议题前瞻

第34届国际多媒体顶会ACM Multimedia将于2026年11月10日至14日在巴西里约热内卢举行。文章介绍了四位主题演讲嘉宾:德国奥格斯堡大学的Elisabeth André研究具身AI与多模态交互,香港中文大学(深圳)的李海洲研究选择性听觉注意与目标说话人提取,巴西里约热内卢天主教大学的Clarisse Sieckenius de Souza关注A

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Gemma 4 12B 推出 LiteRT-LM 量化版,支持端侧多模态部署

Hugging Face 的 litert-community 发布了 Gemma 4 12B 的 LiteRT-LM 量化版本,基于 google/gemma-4-12B-it 转换而来,支持 macOS、Linux、Windows 及有限度的 Web 部署。该 .litertlm 文件支持文本、视觉和音频多模态输入,并具备多 Token 预测(MTP)以

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

上海交大邓志杰:扩散语言模型如何又快又好

上海交通大学副教授邓志杰在CNCC 2026上系统梳理了扩散语言模型在保证生成质量的同时提升生成速度的方法,涵盖LLaDA、Dream等基础路线,以及跨块并行生成(D2F、MultiBD)、后训练(CForce、LightningRL)和推理系统优化(Fast-dLLM、LoPA)。他提出应结合每轮提交token数(TPF)与每轮耗时(TPS)及正确率来评价

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

阿里提出 Omni-Encoder:共享 SigLIP2 统一四模态表示

阿里巴巴团队提出 Omni-Encoder,在单个 SigLIP-2 Vision Transformer 中以完全共享参数处理图像、视频、音频和音视频输入,并通过模态原生输入阶段、基于绝对时间戳的多模态旋转位置编码以及交替模态训练实现端到端联合优化。该方法在 16 个基准上取得有竞争力的结果,且联合训练相比各模态单独训练均有提升,表明跨模态正向迁移的潜力。

正文结构化主题已通过公开置信门槛
arXiv cs.IR一手来源研究

SciToT:面向科学论文的多模态舌尖检索基准

研究者提出 SciToT,一个面向科学论文的多模态「舌尖现象」(ToT)检索基准,包含 108,512 篇开放获取论文和 11,499 条合成查询。他们设计了一条可扩展的查询生成流水线,从文档中分别提取文本与视觉记忆线索,并用大语言模型生成类似人类不完整回忆的查询。该工作填补了科学文献 ToT 检索评测资源的空白,并以 MIT 许可开源数据集、文档表示、记忆

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论模型发布

百度发布无人驾驶世界模型ApolloWorld并提出2+3标准

百度在世界模型热潮中推出面向无人驾驶的世界模型ApolloWorld,并提出因果性、交互性两项基础门槛以及物理准确性、持久性、实时性三项评价标准。ApolloWorld将交通参与者建模为可响应驾驶动作的AI智能体,联合生成相机画面与激光雷达点云,支持改变路线、天气、车流密度等条件推演完整行程。百度称其一天虚拟里程约相当于实车连续测试三年,借此降低对实车和安全

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
量子位模型发布

GPT-Image-2.6全量上线:直出GIF和SVG

OpenAI 全量上线 GPT-Image-2.6 生图模型,生成时间缩短 50%、最快 6 秒出图,并原生支持 GIF 动图与 SVG 矢量导出。API 端首次拆分为 Flare(速度与排版)和 Sunburst(高细节与多轮一致性)两个型号,同时把场景规划(complexity)与画质(quality)解耦为独立参数,并将局部重绘标记功能开放给 API。

正文结构化主题已通过公开置信门槛
Vercel AI SDK Releases一手来源API 更新

Vercel AI SDK 发布 ai@7.0.163 补丁更新

Vercel AI SDK 发布 ai@7.0.163 补丁版本,修复了音频类型检测、遥测内容记录开关、Google 流式响应顺序保持等问题,并新增原生 URL 转录、provider 自有实时传输接口、流式心跳类型等能力。该版本还改进了 OpenAI Chat 端点元数据上报、联合 schema 输出类型推断和转录词级时间戳支持,主要影响使用该 SDK 构

正文结构化主题已通过公开置信门槛
OpenAI Node SDK Releases一手来源API 更新

OpenAI Node SDK v7.51.0:新增 GPT-6 Rosalind 与多地区数据驻留

OpenAI 发布 Node SDK v7.51.0,新增澳大利亚、印度、日本的数据驻留选项,将 GPT-6 Rosalind 加入模型目录,并为图像 API 增加复杂度控制及 GIF、SVG 输出选项,同时扩展 agent 轮次错误与图像、音频参数。该版本让开发者可在更多地区满足数据合规要求,并接入新模型与更丰富的多模态输出能力。

正文结构化主题已通过公开置信门槛
OpenAI Python SDK Releases一手来源API 更新

OpenAI Python SDK v3.46.0 新增 GPT-6 Rosalind 与数据驻留选项

OpenAI 发布 Python SDK v3.46.0,在 API 中新增澳大利亚、印度、日本的数据驻留选项,将 GPT-6 Rosalind 加入模型目录,并增加图像复杂度控制以及 GIF、SVG 输出控制,同时扩展 agent 轮次错误与图像、音频选项。这些更新让开发者可选择数据存储区域、使用新模型,并获得更细粒度的多模态输出控制。

正文结构化主题已通过公开置信门槛
THE DECODER产品发布

ChatGPT 借助 OpenAI Images 2.6 模型将文本和照片转为动画 GIF

OpenAI 基于新的 Images 2.6 模型,为 ChatGPT 和 Codex 用户上线了生成动画 GIF 的功能,用户可用文本提示或上传照片生成 GIF,并调整动画速度或编辑单帧。该模型在跨帧角色一致性上表现较强,同时整体提升了图像生成速度。OpenAI 还面向开发者发布 GPT-Image-2.6 的 Flare 和 Sunburst 两个 AP

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

ChatGPT 上线 GIF 生成功能,随 Images 2.6 模型推出

OpenAI 在 ChatGPT 中上线 GIF 生成功能,用户可通过提示词或上传照片制作动图,并调整播放速度、逐帧编辑和分享。该功能随新的 Images 2.6 模型一同推出,同时提升了图像生成速度。OpenAI 表示,ChatGPT 与 API 每周生成的图像已超过 40 亿张,高于 9 月公布的 30 亿张。Images 2.6 正面向所有 ChatG

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源开源

Ornith-1.5-35B-A3B 的 APEX-I-MiniPlus V2.1 GGUF 量化发布

Hugging Face 用户 IsValorum 发布了 Ornith-1.5-35B-A3B 的 GGUF 量化版本 APEX-I-MiniPlus-V2.1,基于 ornith-ai/Ornith-1.5-35B-A3B 做逐张量定制量化,体积控制在 14–15 GB,支持 24GB 显存工作站跑满 256K 上下文。发布页同时宣传其 V3 系列 Qw

正文结构化主题已通过公开置信门槛
智东西商业

英伟达参投的AI推理创企Fal获87亿元新融资,估值翻倍至千亿元

美国云推理平台Fal完成13亿美元F轮融资,投后估值达160亿美元,较今年4月E轮的80亿美元翻倍,由Bessemer Venture Partners领投、英伟达继续参投。Fal成立于2021年,为创作者和开发者提供图像、视频及音频模型的托管与推理服务,客户包括Adobe、Canva和Shopify,年化营收已达8亿美元。新资金将用于采购更多算力并扩充18

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

Qwen3.6-35B 无审查 Genesis Hermes GGUF 模型发布

独立开发者 LuffyTheFox 在 Hugging Face 发布 Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-GGUF 模型,该模型基于 HauhauCS 的无审查 Qwen3.6 MoE 基座,并迁移了 Hermes 智能体微调数据。作者提出名为 Genesis 的后训练张量校准方法,声称利用 Marchenk

11月4日周三 · 1 条
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

虎鲸文娱上线“鲸锐AI”影视制作平台,单分钟成本节省30%以上

虎鲸文娱集团于11月4日正式上线AI影视制作与管理平台“鲸锐AI”,该平台集成50余个主流AI视频生成模型和10余个自研模型,提供五类精控套件和300余项精控能力,支持千级节点、百人实时协同创作。平台宣称AI视频单分钟成本较传统方式节省30%以上,制作时长缩短40%至60%,并可直出4K、60帧、10bit、HDR规格内容。平台开放全员注册,团队席位不限人数

另有 1 家信源报道