天津大学张长青：给多模态融合加上可信度量尺
原标题：模态缺失、噪声干扰怎么办？天津大学张长青：给多模态融合加上「可信度量尺」| CNCC 2026
AI 摘要
天津大学张长青在CNCC 2026 Tutorial环节报告《广义多模态融合技术》，介绍团队在多模态表征、动态可信融合和通用预测基座三方面的研究。团队提出通过重构观测学习潜在表征以保留模态特有信息，并基于证据理论提出TMC方法动态评估各模态可靠性，在晶体结构识别任务中准确率从约58%-59%提升至93.9%。团队还构建通用多模态预测基座FAM，在18个数据集、12种模态、11类任务上平均准确率较专用基线提升约6.9个百分点，目标是降低新任务适配成本。
正文节选
真正的挑战，是让模型保留有效信息、识别可靠证据，并适应新的任务。 作者丨张 璐 编辑丨马晓宁 在具身智能、自动驾驶和智慧医疗等场景中，模型需要处理的数据远不止图像、文本和语音。雷达、触觉、心电、医学影像及各类传感器数据，都可能成为预测和决策的依据。然而，不同模态之间既存在关联，也包含彼此无法替代的信息；现实数据还常常面临模态缺失、噪声干扰等问题。如何在融合信息的同时保留模态差异？当不同来源的数据质量不一致时，模型又该如何判断哪些信息更可靠？如果每遇到一种新任务，都需要重新设计和训练专用模型，多模态技术的应用成本又该如何降低？10月21日，在 CNCC 2026 首日的Tutorial环节，天津大学人工智能学院英才教授、国家级青年人才张长青作了题为《广义多模态融合技术》的报告，介绍了团队围绕多模态表征、动态可信融合和通用预测基座开展的研究。从保留模态特有信息，到利用