本文来自新加坡国立大学葛树志教授团队，葛树志教授是新加坡国立大学电气与计算机工程系终身教授，同时也是新加坡国立大学广州创新研究院院长、新加坡工程院院士。

2023年，葛树志教授带领的团队凭借该项研究，在新加坡人工智能计划（AI Singapore）举办的 Robust AI Grand Challenge中脱颖而出，成功斩获第一阶段高达400万新加坡元（约合2200万人民币）的资助。

项目名称

自动驾驶智能系统的稳定性、鲁棒性与安全性关键技术研发

项目负责人介绍

葛树志教授，现任新加坡国立大学电气与计算机工程系终身教授、新加坡国立大学广州创新研究院院长。他于1986年毕业于北京航空航天大学，1993年获英国帝国理工学院博士学位。葛教授是国际知名的智能控制， 机器人研究专家，自2016年起连续被科睿唯安全球高被引科学家榜单收录。他曾创立并主导多个重大科研项目与产业转化平台，同时担任多个国际权威期刊的主编/副主编，并在ACA、IEEE、IFAC等国际组织担任主席，副主席等重要领导职务。

项目简介

本项目致力于构建一个融合鸟瞰图（BEV）表示与Transformer架构的多视角、多模态3D感知系统，以提升自动驾驶系统在复杂物理环境中的稳定性、鲁棒性与安全性。

通过将多摄像头图像、激光雷达（LiDAR）和毫米波雷达等多源传感器数据统一映射到BEV空间，系统能够实现高效的三维目标检测和环境建图。

核心目标包括：（1）设计具备时空特征融合能力的BEV感知网络，增强系统对动态场景的理解；（2）开发针对多模态输入的协同对抗攻击与防御机制，提升系统在物理世界中的鲁棒性；（3）构建结合数字孪生与实车测试的评估平台，系统性地验证感知模型在真实环境中的表现。

该系统将为自动驾驶等安全关键应用提供坚实的AI支撑，推动多模态3D感知技术的发展。

项目亮点

(1) 多视角图像驱动的鸟瞰图三维检测方法

图1  基于鸟瞰图的多视角三维目标检测

(a) 利用空间先验构建 BEV 查询结构，从六视角图像中提取关键特征信息并映射到统一鸟瞰图空间，提升三维场景理解能力。

(b) 引入时间自注意力机制，在连续帧中建模目标运动轨迹，实现遮挡物体的恢复与动态目标的稳定识别。

(c) 支持对城市复杂路况中的静态与动态目标进行稳定建模，具备良好的抗遮挡与多目标区分能力。

综上，该方法有效提升了纯视觉系统在3D目标检测任务中的空间建模能力与鲁棒性，适用于高密度复杂交通环境中的感知需求。

(2) 融合图像与点云信息的多模态鲁棒三维感知系统

图2  基于图像模态的三维目标检测

图3  基于激光雷达模态的三维目标检测

图4  基于BEV特征的道路分割

(a) 将图像和激光雷达等多模态传感器数据投影至统一 BEV 空间，保留语义密度与几何结构，提升多源特征表达一致性。

(b) 采用预计算与高效聚合策略优化视角转换过程，实现低延迟的特征融合与空间对齐。

(c) 在复杂天气与光照条件下表现出更强的环境适应性和感知鲁棒性，支持安全关键场景下的部署需求。

综上，该融合感知系统具备良好的多源适配性与场景泛化能力，显著提升了自动驾驶系统在物理世界中的可靠性与稳健性。

图5  基于数字孪生平台的算法开发