驾驶行为识别是机器视觉领域一项热门课题,是汽车辅助驾驶行业的首要研究目标。相较于目标识别,行为识别具有特殊的空间时序特征,因此通过盲目的增加数据集数量很难在各种深度学习经典网络上使行为识别的结果收敛。目前的辅助驾驶行业,虽然在日新月异的发展,但由于行为识别算法的局限性,目前车辆驾驶行为识别主要通过各类传感器以及GPS定位系统进行空间时序特征数据采集,该方法受环境条件限制,在隧道、地下、或者无基站覆盖的区域无法正常运行。针对以上情形,本文提出了一种基于视觉运算的违章行为识别方法,通过静态的目标元素识别与动态的场景状态识别相结合,实现实时识别车载视频中闯红灯违章驾驶行为和不礼让斑马线违章驾驶行为的目标。论文的具体研究工作分为三个部分:(1)对车载视频中的重要元素进行静态的目标识别,提出了一种Mobile Net-DSSD的轻量级网络。该网络致力于解决车载视频中静态交通元素识别的主要问题:多尺度目标分类与定位、小目标检测鲁棒性以及轻量型检测,该网络在DSSD网络的基础上,将主干网络由Resnet-101网络替换为添加卷积层后的Mobile Net网络,修改DSSD网络反卷积模块的特征融合模式以及调整特征融合层序号,以多尺度分类与定位、小目标检测鲁棒性、轻量级网络构架三个识别需求为目标,设计了Mobile Net-DSSD网络。实验表明,该网络识别车载视频中各类交通要素的平均准确率达到74.91%,识别车载视频中红绿灯、行人等小目标的平均准确率达到了76.4.%,网络的卷积乘计算量为790万次,相对于SSD网络,Mobile Net-DSSD网络的小目标的识别准确率提高了12.85%,卷积乘计算量减少了95.28%。(2)对车载视频中的行车场景进行场景状态识别,提出了一种可以用来识别车辆到达停止线以及斑马线状态的方法。场景识别一直是自动驾驶领域较难实现的问题,车载视频中的行车场景具有很强的空间位置特征以及时序位移特征,然而由于二维像素域在成像过程中发生畸变,直接通过像素坐标进行计算并不能有效的诠释行车场景所具有的空间位置关系以及时序位移特征。本文基于车道线消失点来进行像素域到空间域的坐标转换,以获得场景中目标的空间相对坐标,然后基于空间相对坐标,针对行车场景各状态的空间位置关系特征以及时序位移特征进行场景状态识别。实验表明,该方法可以有效地解决像素坐标直接进行空间位置计算的不足,车辆达到红绿灯路口场景状态的识别精准率为0.70,召回率为0.77,车辆到达斑马线路口场景的识别精准率为0.71,召回率为0.58。(3)对车载视频中的违章操作进行行为识别,提出一种违章行为状态迁移的编程思路。与目前发展迅速的固定视角单目标的运动轨迹跟踪相比,车载视频中的违章行为识别属于背景信息不断变化的多目标轨迹跟踪,同时车载视频中的违章行为主体并不直接出现在视频图像中,违章行为需要通过视频中各种背景参照物间的空间位置关系间接的识别。本文对车辆即将到达违章场景,正在通过违章场景,完成违章场景等状态的时序特征进行分析,并通过背景画面的边缘信息以及交通信号指示灯的运动规律进行车辆运动停止、拐弯直行的行车状态识别,通过阈值的调整,使系统的识别效果达到最优,通过帧率的调整,使系统可以满足实时性的要求。实验表明,在帧率设置为3时系统可以达到实时监测的要求,此时闯红灯识别系统的识别精准度0.63,召回率0.75,不礼让斑马线行为识别系统的精准度为0.85,召回率为0.66。