近年来随着汽车的普及,使得交通事故频发,尤其是近些年来‘两客一危’事故给人民带来了巨大的生命财产损失,根据调查80%以上的交通事故是由于驾驶员分心是导致的。2018年12月,国务院安委会在《关于推广应用智能视频监控报警技术的通知》提出“两客一危”车辆要全部安装智能视频监控系统,实现对驾驶员不安全驾驶状态的自动识别和实时报警,确保安全行驶。为此,本文提出了一种结合驾驶员驾驶行为动作信息和面部疲劳状态信息和先验知识的基于多信息融合的驾驶员驾驶状态检测报警系统,用于实时反馈驾驶员驾驶状态信息。系统分为3个部分,第一部分通过驾驶员骨骼关键点信息完成对驾驶员行为动作的分类,包含左抬手、右抬手、四肢状态正常、头部状态正常、左转头、右转头、低头、吸烟、喝水、打电话。第二部分通过驾驶员面部关键点信息完成对驾驶员疲劳驾驶等级的检测,包含正常(T1)、中度疲劳(T2)和严重疲劳(T3)。第三部分结合前两部分的信息设计一个驾驶状态危险等级判别器完成对驾驶员危险驾驶状态的实时检测,并根据检测结果向驾驶员发出不同等级的报警。本文的主要研究工作包括以下4个方面:第一,对于驾驶室特定目标的检测,介绍了YOLOv3网络的发展和其在实时目标检测中的优势,为了提高在驾驶室内对特定大小的3类物体的检测精度和检测速,本文充分利用待检测目标物尺寸的特点,去除原始YOLOv3网络中对大目标物的检测层,并根据实际待检测目标的尺寸使用k-means++重新聚类,获得新的anchor数量和尺寸。对比原始YOLOv3网络,YOLOv3 Plus网络的检测准确率从91.8%提高到了98.9%,检测速度从40FPS提高到了58FPS。第二,在驾驶员姿态动作的检测中,本文基于Open Pose检测获得的12个关键点,提出了基于SOM(Self Organizing Map)+HL(Hebbian Learning)的驾驶员姿态分类器。本文首先在原始SOM网络的基础上增加了对数据敏感性曲线的学习,使得神经元能更好的表达驾驶员的动作细节,并且改进了原始的Hebbian Learning学习规则,避免了神经元被激活时只允许权重增长的情况。相较于原始的SOM+HL分类器,改进的分类器对10类驾驶员行为动作检测的准确率从77.57%提高到了94.42%。第三,在对驾驶员疲劳状态的检测中,本文首先通过改进的Le Net网络完成了对驾驶员面部24个关键点的定位,并提出了驾驶员疲劳等级检测模糊推断系统,即首先通过面部关键点空间位置关系完成对眨眼和张嘴动作的阈值的确定,再结合PERCLOS值、疲劳驾驶经验知识、眨眼和打哈欠频率信息,最后完成对驾驶员驾驶疲劳等级的分类。第四,在驾驶员驾驶状态危险等级分类判别系统的设计中,本文采用多信息融合的方式(即疲劳信息,驾驶员姿态信息,经验信息)对驾驶员的驾驶危险驾驶状态进行综合判断。此系统分别融合了驾驶员疲劳驾驶状态信息、驾驶员驾驶行为信息和驾驶员经验信息,最终设计了一张驾驶状态危险等级分类检索表格,通过查表投票的方式完成对驾驶员危险驾驶状态的分级。最终本系统对驾驶员3个等级的驾驶行为,低危驾驶(R1),中危驾驶(R2),高危驾驶(R3)检测准确率分别为:91.62%(R1),92.75%(R2),97.56%(R3),可以很好的满足检测要求。