近年来,非机动车的行车安全引起了国家的极大重视,非机动车违规行为的存在是导致相关安全事故频发的主要原因,针对该问题,目前交管部门主要采取交警现场执法这种监管方式,该方式需要投入巨大的人力物力且效率十分低下。随着信息技术的发展,计算机视觉技术在交通领域的应用屡见不鲜,但是大多研究对象往往是机动车。因此,本文研究并设计了一套针对非机动车的违规行为识别系统,主要对未佩戴头盔、逆行、占道行驶等违规行为进行识别,该系统可以辅助交管部门对非机动车进行监管,具有一定的现实意义与实用价值。本文主要研究工作如下:1、构建了非机动车数据集。通过线下拍摄、整理交通领域公开数据集中相关数据、爬虫爬取这三种方式搜集了图片与视频数据,并通过软件手工标注与格式转化的方式构建了目标检测与目标跟踪数据集,最后对目标检测数据集进行了数据增强。2、提出了一种轻量级目标检测模型。违规行为识别要求目标检测算法具备良好的检测精度与速度。针对这一需求,本文首先研究了多种网络模型,选择了YOLOv4作为基准网络,然后对比Ghost Net、Mobile Net V3对YOLOv4主干网络轻量化的效果并使用深度可分离卷积对PANet进行轻量化,最后通过重新聚类数据集的anchors和引入注意力机制的方式提高模型精度。经过多组实验对比发现,本文在保证检测精度的前提下,降低了模型的体积与计算量,提高了模型推理速度,能更好地满足实时检测的需求。在应用方面,通过该模型实现了对未佩戴头盔行为的识别,使研究内容具有实际意义。3、提出了一种非机动车跟踪模型。本文将提出的轻量级目标检测模型作为检测器融入Deep SORT算法中,并对重识别特征提取网络进行优化,引入逆残差模块作为特征提取网络基本模块,并使用全局平均池化代替全连接层,实验表明,优化后的网络精度与速度都得到了提高。在应用方面,使用该网络对目标跟踪数据集完成了训练,使模型能够应用于非机动车跟踪,最后通过该模型实现了非机动车流量检测与逆行、占道行驶行为的识别。4、设计了非机动车违规行为识别系统。该系统能够对输入的视频流信息完成违规行为识别并在前端界面进行显示,违规信息均会记录在系统并提供给后台人员查证。该系统可以辅助交管部门对非机动车进行监管,能够极大节省人力物力。