交通信号灯识别是无人驾驶技术的一个基本组成部分。本课题的研究内容是基于无人驾驶车辆平台上丰富的传感器与信息资源，系统地设计一套包括了检测、跟踪、定位、识别功能的交通信号灯识别系统。本课题设计的信号灯识别系统所融合的传感器及信息包括：车载相机所采集的图像序列，全球定位系统/惯导组合导航系统（即GPS/INS组合导航系统）所测量的，或者通过激光雷达和即时定位与地图构建算法（即SLAM算法）所获得的车辆平台位置与航向。本课题中，跟踪模块将处理图像序列的检测器的输出看作是交通信号灯目标的受干扰带噪声观测，而且考虑到检测所得的候选区域可能出现误检与漏检的情况。跟踪器利用多目标跟踪算法中的数据关联对这些观测进行处理，从杂乱的观测中提取来自信号灯的真实候选区域并剔除误检的区域。经过数据关联后的稳定候选区域将会经过分类器，识别信号灯的图案。在这个总的流程之下，为了提高多目标跟踪的性能，本课题对信号灯这一特殊目标的运动模型做了比较深入的研究，设计了运动预测算法。在车辆平台接近路口时，信号灯的三维位置对运动模型有较大影响，所以课题又设计了基于多视角观测的交通信号灯定位算法。而跟踪与定位的准确性又与车辆自身的位置、姿态测量相关，为了弥补GPS/INS组合导航系统的缺陷，课题又对非外源式的SLAM算法进行了研究，提出来一种基于图像处理的SLAM算法。此外，由于该系统融合了来自多个不同传感器的多种数据，所以也对传感器间的时间、空间对准问题作了研究。