随着世界范围内汽车行业的不断发展,人们对于作为出行交通运载工具的车辆提出了更高的要求,越来越多的人开始希望自己驾驶的车辆更加智能,自动驾驶汽车也就应运而生。得益于多种传感器性能的不断提高、人工智能技术的快速发展以及计算机计算能力的大幅提升,汽车这一传统的工业产品正变得越来越智能。自动驾驶,这一汽车诞生之初人们便孜孜以求的梦想,如今正在变成现实。在自动驾驶的多种关键技术当中,环境感知具有举足轻重的地位。而视觉环境感知作为一种十分经济可行的方案,一直是相关研究人员的研究重点。障碍物目标检测及跟踪,交通灯及交通标志检测,车道线检测,道路可行驶局域划分等细分方向,都是与自动驾驶的实际应用密不可分的技术。本文的主要研究内容为实时性的目标检测及跟踪,具体研究内容如下:（1）障碍物目标检测。针对当前基于锚框的目标检测算法检测过程复杂冗余,速度较慢的问题。本文选用结构十分简洁的基于关键点的目标检测算法Center Net作为基础进行改进。为了使算法更加适用于自动驾驶场景下的实时化检测要求,本文提出了Center Net-IDA-Mobile Net V3网络,它借鉴了Mobile Net系列算法中深度可分离卷积、倒置残差连接等模型轻量化思想,大大降低了模型计算量和参数量。同时为了弥补计算量和参数量降低带来的模型拟合能力下降,应用迭代深度特征聚合思想,主干网络中不同特征提取阶段生成的特征进行迭代深度聚合,使得具有最大分辨率的最浅特征提取层的特征不断向更深层聚合。通过这样的操作,在不明显二次增加计算量和参数量的前提下,提高了模型的检测精度。（2）障碍物目标跟踪。针对当前基于“通过检测进行跟踪”范式的目标跟踪算法无法满足自动驾驶场景实时化跟踪的问题,本文选用联合检测和跟踪的跟踪算法Center Track作为基础进行改进,由于其用来进行特征提取的主干网络Hourglass计算量和参数量较大的原因,很难做到实时化的多目标跟踪,不适合应用于自动驾驶场景。本文提出的Center Track-IDA-Mobile Net V3网络,它借鉴了轻量化卷积神经网络Mobile Net系列中深度可分离卷积替代标准卷积、倒置残差模块替代标准残差模块等操作,再应用迭代深层特征聚合思想将不同阶段的特征进行深度融合,以弥补模型轻量化操作带来的特征提取能力的降低,使其在跟踪精度和实时性之间获得了很好的平衡。（3）公开数据集及实车验证。通过将障碍物目标检测和跟踪算法在公开的基准数据集和实车采集的数据上进行实验,验证算法的性能,并进行分析。