返回主题地图

多模态

技术方向 · 文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品 · 共 1350 条

只展示置信度达到公开门槛且每篇排名前三的主题标签,降低泛化误贴。

9月11日周五 · 10 条
正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

阿里云Token Plan个人版升级:加量不加价,新增12类Agent Harness工具

阿里云于9月11日升级Token Plan个人版,在价格和Credit额度不变的情况下,为Standard和Pro套餐新增Agent Harness工具权益,覆盖搜索、网页解析、图像生成、语音处理、代码执行等12项Agent开发能力,均通过MCP标准协议开放。同时新增视频生成、Managed Agent托管智能体、RAG知识库、Memory记忆库与Sandb

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

MHE-Former:基于熵最大化的多假设Transformer用于3D网格恢复

该论文提出 MHE-Former,一种基于熵最大化的多假设 Transformer 框架,用于单目 3D 手部和身体网格恢复。它采用探索-利用范式:探索阶段通过概率建模和熵最大化生成多样且合理的假设,利用阶段借助 VLM 的视觉理解与推理能力进行上下文感知的假设选择。实验表明该框架在多个数据集上取得准确性和多样性的最优表现,用户偏好研究也验证了假设选择流程的

正文结构化主题已通过公开置信门槛
arXiv cs.CL一手来源研究

先思后链:多语言实体链接中的稀有性、推理与检索

该论文研究多语言多模态实体链接中稀有实体的失败问题,指出传统基于流行度(如页面浏览量)的稀有度指标会遗漏许多知识图谱结构上稀疏的实体。作者提出用Wikidata结构指标刻画稀有度,并设计一个无需训练的框架,让具备推理能力的视觉语言模型迭代检索并推理Wikipedia证据。在MERLIN五语言基准上,最佳系统整体比SOTA提升6.9%,在稀有实体切片上最高提升

正文结构化主题已通过公开置信门槛
arXiv cs.LG一手来源研究

M3-Former:融合混合专家的多模态长期船舶轨迹预测

该论文提出 M3-Former,一个结合大语言模型与多模态 Transformer 的船舶轨迹预测框架,用于长期(1-4 小时)轨迹预测。方法将船舶静态属性与航行意图作为语义先验,通过预训练 LLM 编码并与动态轨迹特征对齐,同时引入双粒度混合专家(MoE)架构分别建模全局航线规划与局部机动行为,并设计转向加权交叉熵损失缓解稀疏转向样本的长尾问题。在丹麦真实

正文结构化主题已通过公开置信门槛
arXiv cs.CV一手来源研究

GRADE:视觉退化下的单帧生成式雷达深度估计

该论文提出GRADE方法,利用预训练生成先验与单帧毫米波雷达几何信息,在烟雾、雾霾和黑暗等视觉退化条件下估计高保真度量深度。GRADE先将原始4D雷达频谱映射为粗略度量深度,再用潜在扩散模型恢复结构细节,并通过像素空间适配器在可见时利用相机残差线索。在12栋建筑95K帧数据上训练评估,清晰场景MAE为0.303米,烟雾下为0.313米,优于现有基线。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

2026蚂蚁InTech奖揭晓:申报量增近4倍,三年投1亿扶持创业

2026蚂蚁InTech奖在外滩大会揭晓,10位青年科学家获科技奖(每人20万元),10位中国籍在读博士生获奖学金(每人5万元)。本届聚焦AGI、具身智能、数字医学、数据处理与安全隐私四大方向,申报量较首届增长近4倍。蚂蚁集团同时宣布未来三年投入1亿元扶持获奖者创业项目。

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论观点

外滩大会论坛:世界模型如何走向物理世界

2026 Inclusion·外滩大会上,香港大学计算与数据科学学院主办“世界模型是AI走向物理世界的新大陆吗”见解论坛,马毅、王晓刚、骆怡航等高校与企业嘉宾围绕世界模型的能力边界、具身智能技术路径与商业化挑战展开讨论。王晓刚介绍大晓机器人ACE研发范式与开悟世界模型,骆怡航发布面向灵巧操作的通用世界模型Motus2,圆桌嘉宾就世界模型定义、风险、适用场景及

正文结构化主题已通过公开置信门槛
AWS Machine Learning Blog一手来源产品发布

Amazon Bedrock 知识库集成 Marengo 3.0 实现视频图像搜索

AWS 宣布 TwelveLabs Marengo Embed 3.0 作为嵌入模型在 Amazon Bedrock Knowledge Bases 中正式可用。该多模态嵌入模型可将视频、音频、图像和文本联合编码为 512 维向量,使视频和图像内容可通过自然语言进行语义搜索。Managed Knowledge Bases 自动完成分段、抽帧、转录和嵌入,用户

正文结构化主题已通过公开置信门槛
智东西模型发布

宇树发布60亿参数通用人形机器人基础模型UnifoLM-WLA-1.0

宇树公开新一代通用人形机器人基础模型UnifoLM-WLA-1.0,参数量60亿,使用约2500小时真机数据训练,一套模型可完成64项桌面与全身操作任务,并适配平行夹爪和两类灵巧手。模型引入具身推理、动态区域预测与动作学习体系,将末端执行器与下半身动作统一为离散Token。其具身推理模型UnifoLM-ER-1-4B在7项开源评测中取得最高成绩,部分空间理解

正文结构化主题已通过公开置信门槛
智东西模型发布

攀爬AGI的南北坡:语言模型之外,生数从世界模型出发

生数科技在外滩大会预告发布面向灵巧操作的自进化通用世界模型Motus2,将评估与反馈显式纳入统一模型,使机器人能预测动作后果并据此优化策略。文章以智谱(语言模型路线)与生数(世界模型路线)为对照,称二者为攀爬AGI的南北坡。生数已形成Vidu Q3生成世界、Vidu S1实时交互、Motubrain世界动作模型三类核心模型布局,创始人朱军团队在概率机器学习与

9月10日周四 · 10 条
正文结构化主题已通过公开置信门槛
llama.cpp Releases一手来源开源

llama.cpp b10896:修复 DFlash 视觉模型 mtmd chunk 解码失败

llama.cpp 发布 b10896 版本,修复了在使用 DFlash 推测解码与视觉模型(mtmd)配合时无法解码图像 chunk 的问题。修复方式是停止将图像 token 复制给 drafter,并将 M-RoPE 跳过逻辑限制为仅图像,允许音频正常通过。该版本同时提供 macOS、Linux、Windows、Android 等多平台预编译二进制。

正文结构化主题已通过公开置信门槛
The Verge AI产品发布

Meta 推出 Muse AI 助手,实测能干活但隐私令人不安

Meta 推出其首个 AI 生产力助手 Muse,可连接 Gmail、Amazon 等账户,代用户处理邮件清理、购物下单、生成播客/图片/视频等任务。The Verge 记者实测发现 Muse 能完成低风险任务,但会从 Instagram API 读取比用户界面更详细的个人兴趣数据,甚至根据 Amazon 收货地址推断用户所在州,引发隐私担忧。Meta 称仅

正文结构化主题已通过公开置信门槛
Hugging Face New and Trending Models一手来源模型发布

GLM-5.3-Flash 发布 EXL3/TR3 4bpw 量化检查点

开发者 brandonmusic 在 Hugging Face 发布了 GLM-5.3-Flash 的 EXL3/TR3 4bpw 量化检查点,基于 zai-org/GLM-5.3-Flash-BF16,面向 SM120 双 GPU 环境。该版本提供多模态 DFlash2、纯文本 DFlash2 和纯文本 MTP3 三种 vLLM 服务配置,并附带可复现的

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论产品发布

智象未来 vivago R1 全球上线,国内版「够搭」升级发布

智象未来(HiDream.ai)于2026年9月8日全球上线内容创作智能体 vivago R1,国内版本「够搭」同步升级发布。R1 主打一次性稳定输出5分钟高质量视频并支持无限次多轮延长,通过主/子 Agent 协同完成脚本、分镜、角色、场景与音效,并依托自研 HD-AgentOS 将内容有效可用成功率提升至85%。产品采用 Chat-First 对话式创作

正文结构化主题已通过公开置信门槛
量子位研究

ECCV上钛动科技牵头MARS2,研究AI如何做生意的多模态推理

在ECCV 2026上,中国科技公司钛动科技牵头举办了唯一聚焦Agentic Commerce方向的MARS2 Workshop,牛津、MIT等机构学者参与分享多模态AI前沿研究。配套的MARS2多模态AI挑战赛设置三条赛道,基于3108支广告视频构建的M-CAR数据集,吸引64支全球团队提交超1060份方案,奖金池10万美元。结果显示模型整体理解广告内容尚

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

中国公司牵头ECCV Workshop,多模态推理挑战赛全球64队参赛

在ECCV 2026上,中国公司钛动科技牵头发起了MARS2 Workshop,这是本届大会唯一由中国科技公司牵头举办的Agentic Commerce方向Workshop。该Workshop同期举办多模态推理挑战赛,设置10万美元奖池,吸引全球64支团队提交超1060份方案,并开源了M-CAR基准数据集及代码库。赛事结果表明当前多模态模型在System 2

另有 1 家信源报道

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论研究

ECCV 2026 世界模型爆发:中国学者如何卡位

ECCV 2026 将于 2026 年 9 月在瑞典马尔默开幕,共接收 2883 篇论文(接收率 27.5%),86 个 workshop 中有 13 个直接以 World Models 或 Embodied AI 为主题,密度为 ECCV 历史之最,Yann LeCun、Jürgen Schmidhuber 等将作 keynote。文章认为这标志 AI 竞

正文结构化主题已通过公开置信门槛
Tencent Cloud AI Team一手来源产品发布

腾讯云文档智能推出作业批改 Agent 全流程方案

腾讯云 AI 团队在开发者社区介绍其文档智能教育产品线,将作业批改链路拆为切题、识别、批改、回显四步,并封装为试题批改 Agent 与作文批改 Agent,覆盖 K12 全学科及中英文手写作文,输出正误、得分、知识点与错误坐标等结果。作文批改走异步接口(SubmitMarkEssayAgentJob),默认并发限制 2 次/分钟,底座为千亿参数多模态大模型与

正文结构化主题已通过公开置信门槛
Tencent Cloud AI Team一手来源产品发布

腾讯云文档智能试卷切题能力解析:从坐标结构到模型选型

腾讯云文档智能推出试卷切题原子能力 QuestionSplitOCR,可将整页试卷按题目边界自动拆分,并输出题干、选项、答案、图形、表格五类带四角坐标的语义区域,同时直接返回切好的题目图片和 LaTeX 公式。接口提供默认模型与多模态推理模型两种选择,分别偏向结构化全面与坐标精准,并支持切边增强、弯曲矫正、PDF 解析等拍照预处理开关。该能力面向题库建设、在

正文结构化主题已通过公开置信门槛
雷峰网 AI科技评论商业

IDC预测AI数据基础设施迈向万亿级市场,国产数据库迎新增长空间

IDC中国企业软件市场研究经理王楠在2026 Inclusion·外滩大会论坛上分享研究,预测中国AI数据基础设施市场2025年至2030年将以37.7%的复合增速增长,2030年规模达738亿美元,2035年有望达1548亿美元。报告将市场划分为AI数据平台、AI数据智能和AI数据服务三大领域,其中AI数据智能增速最快。文章指出AI瓶颈正从模型能力转向企业