Foundation4D：面向自动驾驶的统一感知与重建模型

AI 摘要

研究团队提出 Foundation4D，一个统一的前馈模型，可从多摄像头行车视频中同时完成几何估计、3D 检测、语义占用预测和高斯重建，共享骨干网络采用因子化时空注意力以高效融合跨摄像头与跨时间信息。团队还构建了数据标注流程并发布 PAI–Foundation4D 基准，包含 1,253 段驾驶片段及稠密深度与语义占用标签。经基准微调后，该模型在 Waymo 和 nuScenes 上取得最低深度误差、nuScenes 最高检测 mAP、OpenOccupancy 最高占用 mIoU，并可将预测几何与轨迹作为无激光雷达 NuRec 的先验用于仿真场景重建。

正文节选

Foundation4D: Towards a unified perception and reconstruction model for autonomous vehicles Abstract We introduce Foundation4D, a unified feed-forward model for geometry estimation, 3D detection, semantic occupancy, and Gaussian reconstruction from multi-camera driving video. A shared backbone uses factorized spatiotemporal attention to efficiently combine observations across cameras and time. Our video inference pipeline uses pose graph optimization to refine camera trajectories and assembles o

发布时间：2026-10-23 12:00

抓取时间：2026-10-23 12:55

来源机构：arXiv