多模态智能体框架的基础与前沿:技术与应用综述
原标题:A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications
AI 摘要
该综述系统分析了多模态智能体框架中感知、推理、规划、记忆和行动等核心模块,并提出了按模态分类的架构分类法。文章回顾了从文本智能体到多模态框架的演变,以及委托、晚期融合和早期融合等集成方式,并评估了在机器人、GUI与网页导航、多媒体内容生成与编辑、长视频理解与检索等领域的应用。最后讨论了性能、效率与可扩展性之间的权衡,并指出了未来研究方向。
正文节选
[Page 1] A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications Neel Mokaria∗,1, Rishie Raj∗,1, Dheeraj Baiju∗,2, Xiaoqian Shen3, Shraman Pramanick4, Kevin Qinghong Lin5, Arda Senocak6, Mike Zheng Shou7, Philip Torr5, Mohamed Elhoseiny3, Yapeng Tian8, Ruohan Gao1, Salman Khan9, Sayan Nag10, Sanjoy Chowdhury#,1, Dinesh Manocha1 1University of Ma