随着社会的发展,人民的生活水平不断提高,越来越多的家庭有能力购买车辆来方便日常生活,这使得国家汽车保有量逐年提高,随之交通事故的发生概率也不断提高。为了降低交通事故的发生,对驾驶员进行疲劳和分心检测,并在驾驶员处于异常情况时进行及时预警变得至关重要。现阶段研究还存在无法实时检测、检测种类单一和检测成本较高等问题。如何便捷、快速及低成本的检测驾驶员异常行为,进一步提高驾驶安全,是本领域的热门研究方向。本文设计了一种驾驶员面部多特征融合检测模型。模型首先利用轻量级神经网络（PFLD网络）对人面部关键特征点进行检测标定,通过标定好的面部关键点将面部分为嘴部、眼部和头部姿态三个主要特征,结合PERCLOS算法、打哈欠次数和俯仰角变化进行综合判断驾驶员是否处于疲劳状态。然后通过区分两种不同的场景,使用以上三种特征进行两两联合疲劳检测,在此基础上加入眼球追踪技术,对驾驶员进行走神检测。最终,通过实验证明本文的检测模型可以准确判断出驾驶员的疲劳及走神现象。本文设计了基于轻量级神经网络的驾驶员分心检测网络,并针对轻量级神经网络特征提取缺陷进行优化。提出通过在前三层有效特征提取层加入HDC模块的方式增加网络的特征提取能力,后利用数据集对改进后的网络进行实验,并与其他网络进行对比。由实验结果可知,改进后的网络平均准确率有明显提高,虽然性能较复杂网络略低,但模型大小减少一半,最后通过自制短视频对网络进行测试分析,测试结果表明,改进后的网络可以准确、实时识别驾驶员分心动作。针对单一神经网络在某些因素的干扰下导致打电话类别误判率较高的问题,本文提出基于驾驶员上半身骨骼关键点和神经网络联合检测的方法。利用Openpose检测驾驶员上半身骨骼关键点,通过驾驶员打电话时骨骼关键点位置数字特征与手机检测综合判断。通过实验证明,本文的打电话检测方法较单一神经网络检测方法检测准确率高,并满足实时检测条件。综上所述,本文研究的多特征联合驾驶员异常行为检测方法可以及时准确的对驾驶员发出预警,并在模型和类别进行了优化,具有实用性。