汽车作为一种大众消费品早已进入千家万户,伴随着数量增加,安全驾驶的问题也变得越来越显著,其中危险驾驶行为给驾驶员和乘客都带来了极大的潜在危险和财产损失,由于危险驾驶行为具备隐蔽性和无意识性,需要借助辅助设备进行疲劳驾驶检测,故本文提出了综合多因素的驾驶行为评判标准,在一个网络框架下实现了多任务的融合,实时准确且便于移植,该系统的应用对于驾驶员的安全驾驶,智慧城市的推进都具有重要意义。现阶段的危险驾驶预警系统大多是基于单一因素判断,比如根据眨眼频率或头部姿态,容易受外界因素的干扰造成误检或漏检难以全面地对驾驶员的驾驶情况做出准确的判断。即使是多因素判断系统,也是由多个单因素判断网络串联而成的,模型不仅体积巨大难以达到实时检测,还给后期系统的移植和维护带来了不便。本文基于SSD网络提出了一种新的基于综合多因素的危险驾驶行为评判标准,结合了头部姿态、眨眼频率、眼睛与嘴巴的PERCLOS值以及打哈欠等因素对驾驶员的驾驶情况进行综合的评估;在原有的SSD基础上用Mobile Net V3替换原主干网络,速度提高了21.7%,准确率提高5.9%;构建了新的检测器,将目标分类、目标定位、头部姿态检测等多重任务进行融合,避免了多模块拼接造成的误差累计以及各模块对图像重复的特征提取,提高了系统的鲁棒性,便于后期跨平台移植;根据应用场景的需要改进了输出端的非极大值抑制层（NMS）,直接输出每个类的置信度最大的检测框,省去了检测框之间重叠度（IOU）的计算和置信度阈值的设定,改进后检测速度相较于置信度阈值为0.1时的检测速度提高了近40%;对比了应用场景下检测目标的图像大小与特征层上每个特征单元对应的图像大小,更改了特征层的抽取层数和默认检测框比例,在不降低检测精度情况下使模型生成检测框的个数从八千多降到了两千多个,减少了模型计算量;为保留图像的几何比例信息对输入图像做最大内切正方形裁剪处理,避免了非正方形图像在缩放过程中产生的扭曲;训练集使用关键点生成坐标框的方法,搜集并整理了四万余张训练图片,充分的利用了现有的数据集并省去了繁琐的人工标注过程;对Mobile Net V3权重网络进行迁移学习,训练过程采用前期全面训练和后期局部微调相结合的方法,加快了模型收敛速度。整个模型在单卡2080Ti上的检测速度可达41fps,系统体积仅有34.7M,便于在移动端的部署以及跨平台的移植。此外,本文还比较了眼部图像在不同方向上的一维投影,发现眼部图像在x轴投影的方差值变化与眼睛开合度变化呈明显线性相关,可以通过一维投影的方差变化得到眼皮的运动信息,记录了不同个体在闭眼过程和睁眼过程的方差变化序列,通过对比正常状态下和模拟疲劳状态下的眼动速率,提出了一种新的基于眼动速率的疲劳判别方法,即当头部姿态相对固定时闭眼过程x轴投影方差变化速率的值连续两次低于0.06即可认为驾驶员存在疲劳驾驶的可能,该方法与本文第三章的网络模型结合不仅能监测眼睛的开闭状态,同时能够检测眨眼过程中的眼动信息,根据眨眼过程中的眼动速率可将系统预警所需的时间由分钟级别的频率监测提升到以秒为单位的速率监测,预警时间的大幅前置对于汽车高速行驶时的安全驾驶具有重要的意义,同时把图像的二维几何特征转化为一维光学特征,使计算量呈指数级下降,该模块检测单帧眼部图像耗时仅约为0.001秒,准确率可达91%,在保证结果准确的同时几乎不增加额外的计算开销。