智能车的道路交通环境复杂多变,需要广阔的感知视野获取丰富的驾驶场景信息。传统智能驾驶技术通常分为感知模块和规划决策模块,需要调制较多的参数。本学位论文针对智能驾驶端到端学习关键技术,以智能车能够像人类驾驶员一样根据实际交通情况做出合理决策为目标,通过扩大智能车感知视野,消除视觉盲区,精确检测驾驶场景中的移动车辆和行人,并对其运动轨迹进行判断,同时根据对驾驶场景检测的特征给与不同的注意力,来实现智能车安全平稳的行驶。本学位论文的主要工作总结如下:提出基于移动目标的时空贝叶斯全景视频快速拼接算法。在真实的驾驶环境中,车辆和行人的移动有很大的不确定性,视角太小会导致智能车无法检测目标的移动方向。此外,目标的移动会产生遮挡现象,导致智能车无法对前方道路交通场景进行精确的理解。传统的视频拼接方法无法处理运动遮挡,且存在时域一致性差和计算效率低等问题,导致生成的全景视频出现鬼影、目标跳动、计算耗时等问题。本文提出一种基于移动目标的快速拼接算法,通过光流估计检测视频重叠区域中潜在的遮挡图,根据遮挡图寻找最终的融合区域,利用时空联合贝叶斯融合算法对图像进行融合。与经典拼接算法APAP,AutoStitch以及SEAM相比,本文算法在空间上能更好的消除奇异点,同时实时输出流畅平稳的全景视频。提出基于大场景特征融合的时空约束端到端学习算法。传统的端到端智能驾驶技术,仅仅利用一个前视相机采集道路场景信息,会带来两个问题:1)视觉盲区的存在导致无法精确检测视角边缘处移动物体的位置以及预测运动轨迹;2)无法充分利用空间信息提高模型的空间特征检测能力。针对上述问题,本文提出基于大场景特征融合的端到端学习模型,通过扩大智能车前视感知视野,利用多个视角相机获取大场景道路交通环境,同时对多个视角提取特征的权重进行学习,经过特征融合增加关键视角信息的比例,并且在模型中设置空间位置关系的约束。与PilotNet,FCN-LSTM以及DeepSteering等经典端到端模型相比,本文提出的模型能够消除视觉盲区,提高智能车及时准确判断危险因素的能力,保证智能车能够在空间特征提取更精确的情况下做出恰当的决策,比预测效果最好的FCN-LSTM模型,方向盘转角预测的均方误差根降低0.02。提出基于环视注意力机制的多模态端到端学习算法。在大场景端到端智能驾驶算法的研究中,仅仅扩大智能车前方视野,在复杂场景中仍面临如下问题:1)左右两侧以及后视场景信息的缺失使得智能车在十字路口以及人口密集的区域行驶困难;2)没有对场景中的关键目标的特征及位置给与注意力来提高对感知信息的理解能力;3)没有针对实际路况对速度进行预测。针对上述问题,本文提出基于环视注意力机制的多模态端到端学习模型,通过获取360度大场景视觉信息,在残差网络中加入注意力机制提取空间特征,同时实现多模态包括方向盘转角和速度的预测。与仅将前视角场景信息作为输入的端到端模型相比,本文提出的算法能够在车辆拐弯以及行人较多的复杂交通场景安全平稳行驶,能够更好的模拟人类驾驶员实现对方向盘转角和速度精确的预测。智能驾驶决策的安全性研究。智能驾驶决策的安全性是智能车行驶的最基本需求。通过扩大感知视野,智能车能够对场景信息进行充分的理解分析进而实现拟人化驾驶。但视觉传感器的精度对智能车理解感知信息影响较大,由传感器带来的视觉误差可能给智能车辆安全行驶带来潜在的隐患。本文针对智能驾驶决策的安全性问题开展了初步研究,通过将驾驶过程建模成马尔科夫模型,利用鲁棒性二次规划算法近似求解贝尔曼方程,从而获得对观测状态噪声具有一定鲁棒性的最优决策值。实验结果表明,本文提出的算法运行效率高,能够在驾驶过程中及时协助智能车做出恰当的决策,不会因为预测滞后而造成决策的失误,同时对观测噪声具有一定的鲁棒性,可以在观测状态出现偏差的时候依然能够做出安全的决策行为。