驾驶员在疲劳状态下驾驶车辆是造成交通事故的重要原因之一。研究驾驶员疲劳检测方法,监测驾驶员疲劳状态,在其疲劳时进行提醒或干预,对于保护驾驶员及行人的安全有重大意义。通过机器视觉的手段判别驾驶员面部疲劳状态是目前最具发展前景的检测方法。但是,受到复杂驾驶环境、传统特征提取的有效性和驾驶员个体差异性等因素的影响,该类方法依旧存在很多技术瓶颈。本文针对以上问题,围绕复杂工况下的驾驶员瞳孔位置检测、眼睛状态识别和面部疲劳表情识别问题展开研究,分析并融合驾驶员的面部动态行为,在此基础上建立一种基于自适应特征参数的疲劳识别模型。本文主要的研究内容有:(1)驾驶员瞳孔位置检测算法针对复杂的驾驶环境,采用监督下降法、加权积分投影和局部二值特征等方法由粗到精定位驾驶员眼角和瞳孔特征点。该方法首先采用基于监督下降法的人脸拟合算法对驾驶员面部特征点进行定位,在此基础上提取眼角点坐标作为初始位置;然后,采用加权积分投影的方法确定瞳孔位置的初始值;最后,根据瞳孔和眼角点的初始位置,通过训练随机森林模型提取特征点的局部二值特征,采用全局级联回归的方法求得瞳孔和眼角点的精确位置。(2)驾驶员眼睛状态识别算法提出一种深度混合神经网络模型识别驾驶员眼睛开闭合状态。该模型融合了深度神经网络和深度卷积神经网络两种模型结构,并根据每个模型的输出构建联合代价函数,通过对联合代价函数的优化来获得最优模型,识别眼睛开闭合状态。为了进一步提高模型的识别精度和鲁棒性,采用不同类别的数据集对模型进行预训练来初始化其权值参数,然后将预训练好的模型在目标训练集中精调,提高其对眼睛状态识别精度。(3)驾驶员面部动态疲劳表情识别算法分别提出了三种基于传统图像纹理特征和深度学习模型的驾驶员动态疲劳表情识别模型,并对这三种识别模型进行了比较与分析,其主要内容如下:提出了基于时空局部二值模式(时空LBP)和Gabor融合特征的驾驶员动态疲劳表情识别模型。该方法首先通过时空LBP提取驾驶员局部区域在x和y方向的动态纹理特征,利用Gabor融合直方图提取驾驶员面部区域的静态纹理特征;然后将两者融合作为面部疲劳表情特征参数;最后采用支持向量机对融合的特征进行分类,获得最终疲劳表情状态的识别结果。提出了基于多模态融合学习的驾驶员动态疲劳表情识别模型。该算法提取驾驶员眼睛区域的局部灰度图像和面部特征点坐标值作为多源的特征输入;然后,采用基于栈式去噪自编码的多模态深度学习方法分别将这两种输入进行特征提取并在抽象层融合,得到驾驶员面部动态行为的抽象特征;最后,在输出层采用softmax分类器对动态疲劳表情进行分类。提出了基于局部集成卷积神经网络(LECNN)和编码向量的驾驶员动态疲劳表情识别模型。首先根据面部特征点的位置提取每帧的驾驶员眼睛和嘴巴区域图像;然后,将局部图像作为输入构建由三个卷积神经网络组成的LECNN模型对驾驶员面部静态疲劳状态进行识别,并根据LECNN对每帧的输出结果构建编码向量;最后,采用k近邻算法对编码向量分类,得到疲劳表情的判别结果。通过实验对这三种面部动态疲劳表情识别模型的识别精度进行比较和分析,根据识别结果得到最优的识别模型。(4)驾驶员疲劳检测建模根据驾驶员疲劳时的面部动态行为信息,提出一种融合通用特征和个体差异特征的驾驶员疲劳自适应检测模型。首先,提取了包括瞳孔运动参数、眼睛状态参数和疲劳表情参数在内的驾驶员面部疲劳特征,通过特征差异显著性分析对不同驾驶状态下每个特征是否存在明显差异进行研究,根据分析结果选取9个特征建立通用特征空间。然后,根据驾驶员在不同状态下面部行为的同体规律性和个体差异性,利用驾驶员通用疲劳特征的变化构建基于驾驶员个体的差异性特征空间;并将通用特征空间和差异性特征空间融合构建更加完备的自适应疲劳特征空间。最后,将通用疲劳特征空间和自适应疲劳特征空间结合构建一种驾驶员自适应疲劳判别模型,检测驾驶员疲劳状态。