近年来,智能交通辅助驾驶领域的发展尤为迅猛,辅助驾驶技术能够有效的保障道路的行车安全、降低交通事故发生的概率,从一定程度上保障人们的人身安全与财产安全。因此,本文采用多目标检测技术与多目标跟踪技术,结合单目视觉测距算法和预警决策算法完成了自然场景下的车外异常行为识别与预警系统的设计和开发,该系统能够对精准地、实时地分析和评估路况情况,对危险情况做出及时预警,并通过实验证明了该系统具有很高的应用价值。本文主要进行了以下几个方面的相关研究:(1)在多目标检测方面,首先详细分析了 YOLO(You Only Look Once)系列目标检测算法的优缺点,针对YOLOv3目标检测算法在普通计算平台上不能进行快速检测的问题,本文提出了基于残差块和FCP模块的RP-YOLO车辆与行人目标检测算法,在Darknet53的网络基础上添加残差块形成Darknet65网络模型,通过FCP模块并连接全连接层进行类别预测与位置回归。通过实验在数据集上验证了改进后的RP-YOLO车辆与行人目标检测算法具有更高的检测速度,同时满足目标检测精度的要求;(2)在多目标跟踪方面,首先详细分析了 Deep-SORT跟踪算法以及存在的问题,针对车载摄像头场景环境复杂,Deep-SORT多目标跟踪算法容易出现目标遮挡、目标交换导致错误跟踪和丢失跟踪等问题,为了更好的提高目标检测框与跟踪预测框的关联匹配度,在Deep-SORT算法的关联匹配阶段添加了基于空间颜色直方图的表观特征信息作为匹配依据,通过实验表明,融合空间颜色直方图的Deep-SORT多目标跟踪算法能够有效的减少因目标交叉、目标遮挡而引起的跟踪失败的问题,更好地实现了车辆和行人的多目标跟踪;(3)在车外异常行为识别与预警系统设计与开发方面,首先对系统进行需求分析、功能模块划分,然后进行系统界面设计,之后从目标测距单元、信息存储单元、危险评估与预警单元三个方面详细介绍了车距监测与预警系统的实现细节,最后通过系统测试证明了该系统能很好地对车外异常行为中的疑似车辆的急刹车行为与行人的碰瓷行为进行识别与预警。