智能车辆的自动驾驶技术受到了工业界和学术界的广泛关注,而自主感知是自动驾驶技术的关键构成部分,其任务是为决策模块和规划模块提供结构化和语义化的信息,包括对外界环境的感知信息和对自车状态的感知信息。神经网络和深度学习技术在图像处理领域取得的突破性进展,为自动驾驶自主感知技术的研究提供了新的思路和方法。由于图像缺失三维信息,自动驾驶感知更依赖车载激光雷达所扫描到的点云,所以感知网络的结构设计必须考虑点云稀疏且无序的特性,因此有必要为点云处理开发新的网络结构。在面对复杂的交通环境时,利用相机和激光雷达之间的优势互补特性可以更好地应对多变的室外光照和天气条件,从而进一步提升感知算法的性能。但图像与点云之间存在内在性质和表示形式上的巨大差异,解决该差异是设计融合网络过程中的重大挑战。为了满足多种自动驾驶感知任务的需求,设计一种通用的网络结构以实现图像和点云之间的双向融合是感知领域内亟需解决的问题之一。神经网络具有强大的信息提取与处理能力,但其内在计算是一个黑箱,如何将自主感知任务切分为多个子任务,并有效地结合神经网络与可解释性算法（例如观测器技术）也极具挑战性。本文结合该领域的最新研究成果,探究使用深度学习技术和观测器技术解决上述自动驾驶感知算法领域中存在的问题,主要涉及基于激光雷达点云的3D目标检测问题、图像-点云双向多任务融合问题和自车-目标车辆运动状态估计问题,具体的工作内容和贡献概述如下:·研究基于点云的3D目标检测网络。本文充分考虑了点云稀疏且无序的特性,提出使用Point Net++构建3D目标检测网络,3D-Center Net。该网络以原始点云作为输入,通过优先估计物体中心点以聚集点云稀疏特征,并通过多次回归中心点位置以提升中心点位置估计精度,同时增大中心点特征感受野,最后使用中心点特征回归高质量的检测包围框。在自动驾驶数据集KITTI上的实验表明,3D-Center Net是一种通用的3D目标检测网络,在KITTI数据集中“Car”和“Cyclist”类别上的检测精度均取得了同类型网络中的领先水平。·研究图像与点云的融合网络。本文提出了双向融合图像-点云以同时解决多任务的通用神经网络,PI-Net。该网络首先使用预先标定的相机-激光雷达外参对齐图像中的像素和点云中的点,然后通过点云向像素聚集和像素向点云插值的方式完成图像-点云的统一表示,进一步将图像特征和点云特征相互传递,完成双向融合。通过设计不同的子网络共用融合后的特征,PI-Net得以同时完成多种自动驾驶感知任务。本文提出的PI-Net在公开数据集KITTI的道路分割和3D目标检测任务以及Semantic KITTI数据集的点云分割任务上进行评测,结果表明,PI-Net能够有效地双向融合图像和点云,在上述任务中均表现出相比已有方法的更优性能。·研究基于点云的目标车辆和自车的位姿速度估计算法。本文提出了使用神经网络同时完成对外界目标车辆和对自车的位姿估计,通过对点云中的点进行分类,分割出属于前景目标物体的点和背景环境的点,分别用于估计目标车辆和自车的位姿。并设计降阶观测器观测目标车辆和自车的速度信息,该降阶观测器的收敛性基于Lyapunov的方法进行了证明。基于MATLAB的城市环境仿真和校园场景下的实车实验结果均验证了本文所提出的神经网络和观测器的有效性。