交通信号的自动识别是智能辅助驾驶系统和无人驾驶系统中至关重要的组成部分。交通信号自动识别系统能提前提示,警告驾驶员道路前方信息,把驾驶员从高度紧张的驾驶工作中解脱出来,在驾驶安全方面发挥着重要作用。本文主要的目的是尝试解决真实道路环境中的交通信号检测与识别,交通信号包括交通标志和交通信号灯。真实路况处于一个开放的自然环境,交通信号会受到不同光照、天气、噪声、严重的遮挡、运动模糊等外界影响,导致交通信号的检测与识别成为一个具有挑战性的研究课题。交通标志包含限制性交通标志、禁令性交通标志、警告性交通标志、指示性交通标志等。现有的交通标志识别方法,通常面向常见的限制性、禁令性、警告性交通标志,这些标志牌大小比较规范,为矩形、三角形和圆形,对指示性交通标志讨论的较少,指示性交通标志一般为尺寸较大的矩形,指示牌有文字和图标,布局复杂,而且现有的图像库基本不包含这类样本。针对这一更复杂的交通标志识别问题,本文主要研究基于深度学习的多类交通标志识别,基于超分辨率重建和交通标志分类同时学习的交通标志识别方法,以及自然路况下,基于深度特征的端对端交通信号识别。本文的主要贡献为以下几个方面:第一,提出了基于Inception卷积神经网络集成算法的交通标志识别方法。本文利用VGG-Net.网络的思想,采用多个小的卷积核代替单个大的卷积核。这种卷积方式可以加深网络结构,并获得更大的感受野。同时利用Inception-CNN的思想,将不同尺度下的特征进行融合,进一步提升特征的判别性,提高网络的识别效果。训练时采用扩充数据类型,并进行集成学习的方式,训练多个不同数据类型的模型,采用多模型共同决策的方式进一步提升识别效果。在交通标志德国库上超越当前其他算法的识别效果。第二,提出了基于超分辨率迁移学习的交通标志识别方法。由于交通标志的尺寸比较小,目标的分辨率较低,影响识别效果。本文针对这一问题,将超分辨率网络迁移到识别网络中,将超分辨率网络的输出图像作为识别网络的输入,两个网络通过串联的方式共同训练。通过控制两个网络的损失权重和学习率达到收敛。本文对不同尺寸的交通标志进行实验,实验表明,超分辨率迁移学习的方式可以提高小尺寸的交通标志的识别率。第三,提出了基于深度特征学习的端对端复杂交通信号识别方法。由于现有的交通标志检测方法都是针对常见的交通标志,而真实路况下交通标志有很多类型。比如,尺度很大的指示牌、交通信号灯等。本文针对不同的数据类型训练不同的检测模型。对于普通标志采用先检测形状再细分的策略。对于大路标采用二级检测方法提取关键信息。对于交通信号灯检测,采用检测整个交通信号灯设备。最后通过融合多个模型的检测结果作为最终结果,使得检测算法对于任意类型的目标具有更强的鲁棒性。在2017年中国智能车未来挑战赛中的交通信号检测比赛取得最高的准确率。