随着经济发展,汽车已经逐渐成为了一种大众消费品,随着机动车辆的增加,伴随着的就是安全驾驶问题。造成交通事故的三大主要原因之一就是疲劳驾驶,疲劳驾驶会使得驾驶员降低反应能力,严重威胁自身和他人的生命健康。因此对驾驶员的疲劳进行实时监测很有必要性。目前大多数基于深度学习的疲劳驾驶检测方法在精度上虽然达到了一定的需求,但在速度上都还没有很高的实时性,无法在内存和计算能力有限的车载设备上应用。本文设计了一个轻量级的多任务网络模型来加速检测速度,并融合闭眼时长、眨眼频率、头部姿态及打哈欠等多种疲劳特征综合进行疲劳判定。整个驾驶员疲劳驾驶检测系统共两个模块,分别是目标检测模块和疲劳判定模块。（1）目前通过神经网络的疲劳检测方式对于疲劳特征的定位和状态判定是分离的,本文将在目标检测网络YOLOv5s模型的基础之上设计一款轻量级神经网络模型。该模型可以将眼睛、嘴巴的位置回归和开闭状态判定转化为分类任务,并将头部姿态的回归问题和人脸检测问题进行融合,可以直接在目标检测的过程中输出眼睛、嘴巴的开闭和头部在三个方向的偏向角,避免多模块串联造成的误差累计。（2）为了方便移植到嵌入式设备,降低网络模型的计算参数,将以适合移动端的网络模型Mobile Netv3作为目标检测模型的骨干网络,同时引入了面部跟踪算法来有效利用头部可能存在的区域,有效压缩面部定位耗时。同时在疲劳驾驶应用场景下,为了利用眼睛、嘴巴、面部和驾驶舱之间的空间相关性,将在Mobile Netv3中加入空间注意力机制,来加强对目标位置关注度和各种目标之间空间相对位置的关注度。眼睛在整个检测过程中属于小目标物体,模型将通过双向特征融合的方法将底层位置特征和深层次的抽象语义特征多重融合,来降低由于深层卷积造成的小目标特征丢失问题的影响,提高了对中小目标物体的检测效果。改进后的YOLOv5较之前的参数量降低了21%,对眼睛检测精度达到97%,对嘴巴的检测精度达到99%,且检测速度达到了43fps,较之前提升了48%,便于部署到移动端。（3）将头部姿态回归转化为目标检测任务。传统的检测方式是将检测到的头部放到头部偏向角预测模型中进行姿态回归,本文头部姿态将直接在检测出的人脸的同时回归相应的头部偏向角,将传统的面部检测和姿态回归两种任务融合。任务融合后对于头部偏转角的平均误差在5度以内。（4）依靠单一的疲劳特征检测会存在诸多干扰因素,本文疲劳判定模块将融合各个疲劳特征的评判标准,来制定综合的疲劳驾驶判定规则,并对目标检测模块的输出进行编码。将驾驶员眼睛、嘴巴的开闭状态和头部姿态的异常与否进行0/1编码,并通过定长队列的形式来降低内存的消耗,通过融合的多特征疲劳判定算法计算队列内部相应疲劳特征的疲劳状态,最后综合判定驾驶员疲劳状态。最后通过wx Python搭建图形界面,实现了基于人脸视频的驾驶员疲劳驾驶检测系统。利用人脸视频和摄像头对该系统进行测试,系统可以实时定位并判定驾驶员的眼睛、嘴巴位置和开闭状态,以及人脸位置和头部在三个方向的偏向角,可以很好的满足实际需求。