实现高级别的自动驾驶是本世纪最有价值的研究之一,而自主驾驶的本质是寻找传感器数据与驾驶指令之间的映射关系。现有自主驾驶系统通常采用分层递阶式或反应式体系结构,这些体系结构有利于自主驾驶的实现,但是也存在结构复杂、时延高等问题,而端到端体系结构则旨在跳过中间环节,直接构建这一映射关系,因此对端到端自动驾驶框架的研究有利于简化系统,提升系统的可靠性和反应速度,对最终实现高级别的自动驾驶具有重要意义。深度卷积神经网络作为近年来被广泛使用在计算机视觉领域的机器学习工具,能够从大量样本中自主地学习知识,因此可以利用卷积神经网络从人类驾驶员的大量驾驶数据中自动地、有监督地学习传感器数据和方向盘角度之间的映射关系,本文对此展开了探索性质的研究。主要工作具体如下:(1)设计了基于图像和卷积神经网络的端到端自动驾驶框架。目前,虽然已经有学者对基于神经网络和图像的端到端驾驶进行了研究,但是他们使用的神经网络中,要么太过简单,要么需要较高的显存资源,因此本文对此进行了优化,采用了“卷积-池化-全连接”的设计思想,构建了一种层数更多但是显存占用相对较小的卷积神经网络,并在真实环境中采集的数据集上进行了实验。实验证明尽管本文使用的神经网络只占用了较小的显存,但是也能够较好地学习传感器数据和方向盘角度之间的映射关系。(2)基于对抗生成网络构建了一种对抗样本生成框架。对抗样本指的是,对于分类器而言,即使只对原始图像进行非常有限的更改,也能够使得分类器得出与原始图像迥然相异的分类结果,而对抗生成网络则能够利用现有数据,通过“博弈”型的训练,得到能够生成特定风格图像的生成器。本文将两者结合,提出了一种基于对抗生成网络的对抗样本生成框架,经过训练,生成模型能够快速地生成对抗样本。(3)设计了一种基于点云和卷积神经网络的端到端自动驾驶框架。在以往的端到端系统研究中,研究者往往只使用了图像数据作为输入,受限于相机成像模型和视场角,单个相机仅能获取有限角度内的环境信息,而使用激光雷达的点云数据则能够获取更大角度范围内的环境信息。我们借鉴了PointNet的思想,采用最大值池化操作来解决点云无序问题,使用跳跃连接层来融合多种维度的特征,以此来实现并改进了基于点云的网络框架。实验证明,这一框架相对于只使用图像的网络框架拥有更低的平均误差,整体表现更好。(4)设计了一种基于图像、点云的融合数据的端到端自动驾驶框架。本文利用相机的标定参数将点云数据投影到图像平面中,并获取了与相机图像同样大小的投影图像,将原始图像和投影图像堆叠构成输入数据,最后利用卷积神经网络学习融合数据和车辆方向盘之间的映射关系。通过实验,我们发现相对于前两种框架,使用融合数据能够获得更高的准确率,且相对于只使用图像数据,网络模型的平均误差上有了一定的降低。