在经济的飞速发展下,道路上的机动车数量急剧增加,因疲劳驾驶导致的事故也时常发生,基于脑电,心电的检测方法需要佩戴特殊的状态不利于用户体验,设备价格昂贵不利于普及,而针对眼睛,或者针对打哈欠的检测方法不仅方法复杂并且太过单一,不能够较为全面的检测驾驶员的疲劳状态。针对此问题,本文致力于将基于卷积神经网络的人脸识别算法应用于本文的研究中来,进而研究眼部及嘴部的定位方法及识别方法,研究如何融合多源的行为更为全面的检测驾驶员的疲劳状态,最后提出一套应用算法应用在实际的疲劳驾驶检测中。具体工作有以下几方面:(1)首先,调研了相关工作的研究现状,同时总结了基础研究工作,包括人工神经网络的组成方式,训练方法,CNN网络的结构和其在人脸检测中的应用,以及图像去噪的相关算法,为后续开展研究做好基础准备;(2)其次,针对驾驶员的嘴巴和眼睛的定位问题,使用基于面部几何分布的方法粗略定位嘴部,使用基于统计分类的回归树模型的方法精准定位眼睛。在嘴部状态识别上,为了提高对驾驶员张嘴动作识别的准确性,提出基于二值化嘴部后的高宽比指标来定性的识别嘴巴的张开与闭合,针对不同人的嘴巴,使用标定的方法来寻找判别阈值,并设计实验对比基于嘴部面积的方法验证了其有效性和准确性。在眼睛状态的识别上,在检测出人眼的六个特征点的基础之上,提出基于眼睛张角的识别方法来定量的反应眼睛睁开的程度,针对人的眼睛大小不一的情况,设计标定方法寻找针对特定人眼的识别阈值,并根据闭眼的时间来识别眨眼动作或者长时间闭眼动作,实验结果验证了所提出的方法的有效性和准确性;(3)最后,分析研究了三种多源疲劳驾驶指标的意义及定义方法,分别是PERCLOS的P80指标,眨眼频率指标(次/每分钟),哈欠频率指标(次/两分钟)。根据P80指标的定义,设计了从提出的眼睛状态识别方法映射到P80指标的方法,并根据先验知识设计眨眼频率和哈欠频率的归一化方法。结合人工神经网络的优势,提出了多源面部行为的疲劳驾驶检测模型,并设计了模拟实验数据验证了模型的有效性和准确性。最后设计了一套自学习应用算法,供系统开发使用。