随着技术水平的不断发展，智能交通系统已经成为了人们生活不可或缺的部分，如现在的GPS系统，智能出行系统，智能交通监控系统等。与智能交通的上述成熟系统相比，无人驾驶系统还在测试和实验阶段。一些国际上知名的科技公司都在在无人驾驶领域投入了大量的人力物力，且已经有了实质性质的进展。其中计算机视觉作为无人驾驶技术的重要组成部分，也越来越多被人所关注。　　本文主要利用深度学习技术，对无人驾驶车辆视野下的车辆、行人和交通标志识别进行研究，主要研究内容如下:　　(1)车辆和行人实时识别算法的对比分析。　　针对车辆和行人进行实时识别研究，选用udacity的无人驾驶公开数据集，对其中15000张图片进行了压缩处理，采用12000张图片作为训练集，进行车辆和行人的深度学习的训练，并对双阶段Faster-Rcnn和单阶段ssd深度学习识别算法的实验进行分析对比，实验结果表明，1）速度方面，单阶段ssd算法具有明显优势，在预测阶段的速度很可以达到42FPS;训练速度可达到每秒22个图片。而双阶段算法在预测速度和训练速度分别是7FPS和每秒4个图片。2）识别精度方面，双阶段算法具有明显优势。双阶段法与单阶段法map分别为85和78。平衡实时识别算法的速度与精度，是车辆和行人实时识别算法的改进方向。　　(2)车辆和行人识别的级联ssd算法研究　　借鉴级联RPN，提出车辆和人识别的级联ssd算法，该算法采用级联结构，增加了难样本缓和机制和正样本强制传递机制，并对ssd级联深度学习算法进行了识别实验和对比分析，ssd级联深度学习算法预测速度上相较ssd单阶段识别算法更加平衡，其算法精度Map上可以达到84，比ssd算法提高6;预测速度比ssd算法慢了4FPS，达到了38FPS。为了图像识别技术的实际应用，本章还提出了图像切分法，采用级联ssd算法对实际图像进行识别，使得高清视频数据可以做到实时处理，处理比原算法多17倍的计算量任务，依然可以达到26FPS的速度，有效地提高了交通车辆和行人的实际识别效果。　　(3)驾驶员与交通标志关联识别研究　　本为了解决驾驶员与交通标志关联识别的问题，引入了非局部神经网络结构。在GTSDB交通标志检测数据集上进行测试。进行的实验为，1）传统的级联ssd网络结构无法在关联性任务上收敛。2）对非局部神经网络不同的接入方式进行了实验，一种是在FPN之后加入，另一种是在Resnet之后、FPN之前加入，实验结果表明FPN之后加入方式在准确性上表现更加优异，Map值可达到88。3）级联ssd算法框架下，加入非局部网络结构，对计算速度影响不大。双卡GTX1080TI训练时，可以到达每秒21张图片，仅比未加入非局部网络结构的算法慢了一张图片;而单卡1080TI的训练阶段，其预测的速度依然是38FPS。