随着交通的发展,车辆为人们的出行带来了巨大便利,与此同时交通事故造成的财产损失和人员伤亡也逐年增加。研究调查发现,疲劳驾驶是引发道路事故的重要因素。因此,对疲劳驾驶行为进行有效检测成为了交通领域的研究热点。本文通过打哈欠检测和打瞌睡检测相结合的方法来进行疲劳驾驶检测。面部运动包括嘴部运动、眼部运动等。面部运动相对于肢体运动来说运动变化幅度较小,可视为细微运动。本文的研究涉及到嘴部运动和眨眼运动这两类面部细微运动的识别。基于嘴部细微运动识别的打哈欠检测。现有的许多打哈欠检测方法都是对单张静态图片中的嘴部状态进行检测,很少有方法将打哈欠作为一种面部运动去识别。许多面部运动或表情具有和打哈欠相似的嘴部张开状态。如果将打哈欠视为一个静止的状态去识别和统计,那么很容易造成错误的检测。一些方法将嘴部张开时间作为一种判断条件,但这些方法需要对视频中的每一帧图片进行嘴部状态判断,计算开销很大。为了解决打哈欠检测中的上述问题,本文将打哈欠作为一种面部运动去识别,提出了一种基于嘴部细微运动识别的打哈欠检测方法。该方法不需要对视频中的每一帧进行处理,极大的减少了检测的时间开销。为了对嘴部细微运动进行有效识别,本文采用下述方法:(1)首先改进了一种高效快速的关键帧选择算法来提取嘴部运动视频序列中最具代表性的关键帧序列,并将这些关键帧序列应用于本文提出的嘴部细微运动识别模型上。(2)构建了嘴部细微运动识别模型(3D-LTS)。3D-LTS是基于三维卷积网络和双向长短期记忆网络搭建的模型,可以做到对长序运动特征的提取。与此同时模型中使用的时间维下采样特性可以提升嘴部细微运动识别的准确率,通过嘴部细微运动识别可以对打哈欠进行有效的检测。基于眼部状态识别的打瞌睡检测。打瞌睡是一种眼部的细微运动和状态,传统的打瞌睡检测方法根据上下眼皮的距离等几何特征进行眼部状态识别,需要依靠眼部关键点的定位。这些传统方法在不同距离、光线和遮挡环境下的检测效率相差很大。现有的一些基于深度学习的眼部状态识别方法识别时间较长,模型参数较多。为了解决打瞌睡检测中的上述问题,本文提出了一种密集连接的多池化卷积网络模型(DMP-Net)来识别眼部状态。通过眼睛张开和闭合状态的变化来识别眨眼这种细微面部运动,并根据眨眼频率和PERCLOS值来进行打瞌睡检测。DMP-Net模型采用DenseNet的密集连接结构,使模型能够获得更好的识别能力且具有较高的实时性。实验使用彩色图像和红外图像作为输入,可以有效提高眼部遮挡情况下的识别效果。本文对改进的算法和提出的模型分别进行了实验,部分成果已发表在SCI期刊上。提出的打哈欠检测方法有效减少了错误检测发生的次数。提出的打瞌睡检测方法可以在眼部遮挡的情况下对驾驶员的打瞌睡行为进行检测。通过与其他疲劳驾驶检测方法的比较证明了本文方法可以快速高效的检测出驾驶员的疲劳驾驶行为。