随着城镇化和机动化的快速发展，机动车保有量迅速增长，交通事故频发，给社会带来了巨大的能源浪费、环境污染和经济损失。目前，道路交通事故已成为全球范围内日益严重的公共安全问题。基于视觉的车辆环境感知系统，通过实时获取前方车辆、行人、车道线偏离等信息，可为驾驶员提供车辆环境预警和辅助驾驶指令，因而可以避免一定交通事故的发生。移动目标检测与跟踪是车辆环境感知的前提和关键。经过多年的发展，国内外已在移动视觉目标检测与跟踪方面做了大量的研究。尽管已有研究在简单场景下的单目标检测与跟踪方面已取得良好的效果，但对于复杂场景以及多个目标特别是对多类目标的检测与跟踪技术还不成熟。因此，研究复杂场景下的多目标检测与跟踪算法已经成为了国内外研究热点和难点。鉴于此，本文针对城区复杂环境下的多类目标检测与跟踪问题进行了深入的研究，探讨了城区环境下对车辆、行人、骑车人等多类目标的检测与跟踪方法，提出了一种较为实用的算法并进行了算法集成，实现了复杂工况下的多类目标检测与跟踪任务。论文的具体研究内容及研究成果如下:　　(1)论文首先介绍了智能车辆在国内外的研究进展，并针对车载视觉环境感知中的目标检测关键技术及目标跟踪关键技术的研究现状进行了综述;针对现有方法的不足，提出了本文需要改进的方向与思路;在此基础上，提出了本文的研究内容和技术路线。　　(2)论文对车辆辅助驾驶系统及智能视觉理论进行了分析与研究。针对本文的应用环境，重点分析了车辆辅助驾驶的通用技术框架及理论基础，提出了基于单目视觉进行车辆辅助驾驶系统设计的基本思路和技术框架，并对机器视觉技术的理论框架和特点进行了分析;在四种典型机器视觉理论基础之上，构建了基于面向应用的改进计算视觉理论模型的单目视觉辅助驾驶结构框架，为实现基于单目移动视觉的复杂道路交通环境下对车辆、行人等重点交通目标的检测跟踪奠定了理论基础。　　(3)论文对复杂场景下的多类目标的检测与识别算法进行了研究。首先，论文对传统的目标检测特征进行了分析。通过特征比选发现，统计特征以及组合特征能对复杂环境具有较好的鲁棒性。鉴于对检测精度和检测效率平衡的考虑，论文提出了基于Harr与HOG组合特征的两步目标检测算法。Harr特征对目标边缘和线段具有很好的描述，因而能够较好实现初步前景目标（目标ROI区域）的提取任务。同时，HOG特征对目标的局部信息具有很强的描述，对复杂环境有较好的鲁棒性。因此，在前景ROI区域提取的基础上，论文提出了采用HOG+SVM的方法进行目标的精确提取的方法。这种基于组合特征的分层检测策略，解决了检测精度和检测效率平衡的问题，保证了系统的实用性，能较好地完成城市区域复杂环境下的人车等多类目标检测问题。　　(4)论文对基于数据关联的多目标跟踪算法进行了深入的研究。首先，论文分别对光流法、Kalman滤波算法以及均值漂移算法在目标跟踪的应用进行了介绍，发现了这类方法在解决多类目标跟踪时存在的问题。其次，论文对基于数据关联的经典算法，如最近邻数据关联算法(NNDA)、概率数据关联算法(PDA)、联合概率数据关联算法(JPDA)以及基于多目标假设的跟踪算法（MHT）的理论进行了介绍，并分析了每类方法的优缺点;基于此，提出了本文的多目标假设跟踪算法，即基于部分确定轨迹的多目标假设跟踪算法(PDT/MHT)，重点在影响算法复杂度的假设生成及剪枝方面进行了改进，并提出了采用隶属度矩阵形式进行假设概率的计算。最后，论文针对采集的北京多条道路的视频进行了验证分析，验证结果表明了本文算法可对多目标实现可靠和稳定的跟踪。　　(5)论文对基于“假设+确认”策略的系统集成方法与实验结果进行了分析。首先，为了从整体角度提高检测与跟踪的性能，论文提出了一个基于“假设+确认”框架的系统集成方法。该方法将目标检测结果仅作为一个暂定目标，经过一定时间的连续跟踪，当满足一定条件时予以目标确认，这种持续的跟踪结果提供一种反馈信息，因而可减少系统的误检率，并对复杂的外部环境有一定的容忍度。其次，为了验证该系统的运行情况，论文针对不同道路环境进行了实测分析，并对各自的实验结果进行了统计。结果表明，本文的多目标检测与跟踪算法，能够实现对城市复杂道路环境下人、车多类目标的精确检测与跟踪，并能适应隧道、雪天、逆光及夜晚等多种特殊场景下的检测与跟踪任务。