近年来随着智能汽车的快速发展,吸引了国内外各大高校以及科研机构对自动驾驶系统投入了大量的研究。装配了自动驾驶系统的汽车可以有效降低交通事故的发生,减少交通拥堵,提高道路的运行效率。当前自动驾驶系统主要从路径规划、环境感知、定位导航与决策控制四个方面来进行研究。而其中自动驾驶系统可以通过环境感知获取周围环境信息,这对于进行后续的汽车控制与决策有重大影响。因此,高效精准的获取车辆周围环境信息是自动驾驶系统尤为重要的一环。本文在总结目前相关研究的基础上,利用双目视觉摄像头采集图像信息,针对当前城市道路环境中的行人与车辆进行检测,跟踪以及距离测量,主要包含以下几个方面:（1）分析近年来国内外的目标检测技术、多目标跟踪技术以及立体匹配技术发展现状,确定了本论文待解决的关键问题以及论文的技术路线。（2）研究了双目相机成像以及测距原理,比较了各类标定方法,选择使用张正友标定法进行标定,对立体匹配方法进行了分析,选择生成稠密视差图的立体匹配方法,其中又选用SGM与AD-Census立体匹配算法进行了分析,阐明了各自的优缺点,最终选择了SGM算法作为本文的立体匹配算法,通过CUDA对SGM算法进行加速处理,使算法可以满足实时性要求,对测距算法的精度进行实验验证。（3）对SSD检测算法的原理进行分析,针对算法对小目标检测效果不佳以及网络参数冗余提出了一种改进SSD检测算法,使用Moblie Net系列网络替换原先的VGG用于特征提取的骨干网络,将改进的SSD算法与SSD算法进行比较,发现网络参数量不仅大幅减少,检测算法运行速度与精度也有所提升。（4）针对目标检测算法由于环境变化导致的误检与漏检的情况,提出了一个融合目标外观、结构、运动以及尺寸信息的多特征融合的多目标跟踪算法,通过基于网格结构直方图来计算检测目标的外观与结构信息。设计了两类运动模型预测轨迹目标位置,从而获得运动与尺寸信息,有效的减少目标检测框的消失,提供稳定的目标位置信息。分别在开源数据集MOT15和MOT17上进行实验验证,结果表明算法相比SORT算法与MDP算法有提升,将检测算法与多目标跟踪算法结合并在道路场景视频上验证,结果证明了算法的有效性。（5）将本文所有算法整合成一个目标检测与测距系统,其中对检测算法利用Tensor RT进行推理优化,然后部署至Jeston Xavier NX嵌入式开发板中在不同的道路场景进行实验验证,结果表明本文算法在嵌入式开发板中精度有少量下降,但依旧可以实时运行。