如今,汽车为人们出行带来便利的同时,也存在交安全隐患。驾驶员因注意力不集中、疲劳驾驶等常导致交通事故,因此,研究车载安全辅助驾驶系统极具研究价值。而在这些技术实现过程中,车载平台环境下的车辆目标检测与跟踪是重要的研究内容之一。首先传统检测方法存在过于依赖手工调参、目标检测效果差等弊端;其次传统的跟踪方法在目标自身变化剧烈或被遮挡时易产生漂移。最后虽然深度学习在在视频领域取得了突破性进展,研究员总能设计出具有更多参数的强大的检测跟踪模型来消化数据,但大量的权重会占用大量的存储带宽导致部署到车载平台下较为困难。因此,如何在复杂的城市道路驾驶场景中在保证较高精度的前提下对车辆进行实时的检测与跟踪,并将模型部署到嵌入式平台下成为当前亟需解决的问题。在此背景下,针对现有车辆检测跟踪算法的不足,本文提出了基于尺度感知CNN的实时车辆检测算法（Scale-aware of Vehicle Detection,SAVD）,首先针对现有感兴趣区域（Region of Interest,Ro I）池存在破坏了小物体的原始结构这一问题,提出尺度感知的Ro I池化层（Scale-aware Ro I pooling layer,SARo I）,为小尺寸车辆生成精确的特征图。同时,本文提出一种用于车辆检测的多分支决策网络,每个分支被设计为最小化特征的类间距离,因此比现有网络更有效地捕捉具有各种比例目标的区分特征。实验表明SAVD算法对不同空间尺寸车辆具有鲁棒性,对小尺寸车辆识别效果更好。针对SAVD网络模型尺寸较大、消耗大量图形处理器（Graphics Processing Unit,GPU）资源很难部署在硬件资源受限的嵌入式系统的问题,本文提出一种基于自适应联合剪枝-量化（Adaptive Joint Pruning-Quantization,AJP-Q）的网络压缩算法来对SAVD网络进行压缩与加速。并在Jetson TX2嵌入式平台上对模型的检测性能进行评估,实验表明压缩后的SAVD＿VGG网络模型能够很好的部署在嵌入式平台下,在可接受的检测精度下大幅度提升运行速度。最后本文设计了基于道路驾驶场景中多目标跟踪的几何、目标形状和姿态成本,仅使用单目相机的图像,就可以根据目标姿态、形状和运动等几个3D线索设计目标轨迹的成对关联成本。这些成本易于实施、可以实时计算并相互补充。最后,结合二分图匹配的关联框架实现在线多目标跟踪。实验表明本文设计的关联成本可以提升目标间的关联性,有助于提升跟踪精度。