环境感知作为自动驾驶的关键环节,是行车安全性和智能性的保障。先进的三维环境感知系统能够及时地探测到车辆、行人、障碍物、道路等影响行驶安全性的外部事物,并准确地获取其三维位置、尺寸、行驶方向、几何形状、类别等信息,为后续的决策与控制环节提供依据。单一的检测手段或传感器很难对复杂场景进行鲁棒地感知,而利用多传感器优势互补,则能获取更加全面、兼容的行驶环境信息,从而满足自动驾驶系统对可靠性、精准度的需求。近年来,深度学习在信息处理方面取得了突破性进展,基于神经网络的识别、分割、检测算法性能突出,为多传感器三维环境感知系统的研究提供了新的方法和思路。基于此,论文采用三维激光雷达和可见光单目相机,结合深度神经网络,围绕多传感器标定、3D点云与RGB图像融合、三维目标检测、三维语义分割等关键技术,开展了理论分析、方法研究、技术实现、实测验证等工作,主要研究内容如下:(1)三维环境感知系统多传感器标定方法研究针对以三维激光雷达和单目RGB相机作为传感装置的行车环境感知系统,分析异构传感器独立标定、联合标定的原理及模型;设计系列标定方案,搭建实验系统;借助Matlab、Robot Operating System、Autoware等工具,解算出激光雷达与相机的内部、外部参数矩阵,统一坐标系并构建映射模型;完成3D点云与RGB图像的空间对齐、配准,并分析标定、配准对后续算法的指导作用。(2)基于多阶段互补融合的多传感器三维目标检测方法研究针对多模态数据融合粗糙、三维目标检测鲁棒性差的问题,提出了一种基于多阶段互补融合的三维目标检测算法。以激光雷达点云和相机RGB图像为输入,采用两阶段检测框架:(预处理)、初级预测、精细回归,顺序执行数据解析、特征提取、候选框推荐和三维边界框细化任务。创新性地采用多阶段融合策略(预融合、锚框融合、候选框融合)以最大限度地利用多模态数据的优势。其中,提出了RGB-Intensity表示形式,将反射强度编码到图像上,丰富光谱信息,增强输入表征。设计了元素注意力模块,以自适应地决定不同模态特征对网络的“贡献”,突出关键信息,抑制无用干扰。提出了跳跃融合法,支持中间特征层交互的同时引入侧连接,使融合结果兼具完整性和强语义。在权威评测数据集上的实验表明,该算法优于大部分同类型算法,可准确、近乎实时地预测目标的类别、三维位置、三维尺寸、运动方向等信息。(3)级联增强型三维小目标检测方法研究针对复杂城市场景下行人、骑自行车者等小目标检测精度低的难点,提出了一种级联增强型三维小目标检测算法。创新性地应用级联迭代策略,将经典的两阶段检测框架扩展至三阶段:区域建议子网、弱检测子网、强检测子网。利用前一级子网的输出训练下一级更高质量的检测子网,配合递增的训练交并比阈值,以改善过拟合和质量不适配问题,逐级渐进地“锁定”小目标、优化边界框。同时,借鉴图像分割方法,在特征提取网络中引入空洞卷积和多孔空间金字塔池化,以生成能够充分表征小目标的高分辨率、强语义特征图。该算法在KITTI基准上取得了先进的结果,在面对特征较少、外形缺失的目标时表现尤佳。(4)基于点云密度增强和多重注意力引导的三维目标分割和检测方法研究针对点云稀疏、非均匀,特征提取难,且无法表达相似形状物体差异和小、远目标轮廓等问题,提出了一种基于点云密度增强和多重注意力引导的分割、检测算法。其以点云为主要输入,可选择性地添加图像作为补充,由前景分割和候选框生成(Part-1)、点云密度增强(Part-2)、语义分割和边界框细化(Part-3)三部分组成。多任务共享大部分参数,互相监督和辅助。其中,创新性地设计了轻量型逐点注意力模块和通道注意力模块,以自适应地强化“骨架”和“可辨别性”信息,帮助特征提取网络生成更具代表性、针对性的表征。提出了一种新颖的点云密度增强组件,采用距离优先策略,结合K-means聚类算法,基于单目图像生成包含目标信息的伪点云,隐式地利用图像的颜色和纹理信息来平衡点云密度分布、丰富稀疏目标特征。在公开数据集上的大量实验表明,该算法先进、有效,近乎实时,具有出色的远距离、小目标检测性能和良好的可扩展性。