疲劳驾驶将会导致驾驶员的反应速度下降,从而增加了发生交通事故的可能性。检测出驾驶员是否疲劳可以避免许多交通事故的发生。因此设计一种检测疲劳驾驶的算法非常重要。现有疲劳检测的方法通常通过捕获驾驶员眨眼、打哈欠和打瞌睡等驾驶员的行为来进行识别司机是否疲劳。这种方式的优点在于通过相机捕获数据,不会干扰驾驶员的驾驶。但是也有许多研究将生理信号作为一个重要的疲劳检测数据。如果我们能同时融合生理信号和驾驶员行为数据进行疲劳检测将会提高整个系统的精度。由于生理信号的采集需要在驾驶员身上贴上一些电极片,这使它们会干扰驾驶员驾驶。基于驾驶员行为进行疲劳检测所注重的无侵入性与基于生理信号的所带来的侵入性之间存在矛盾。为解决这一矛盾,本文就提出了一种方法通过从RGB视频中提取出驾驶员行为和心率信号,用于驾驶员多模态融合疲劳检测。在本文中所使用的驾驶员行为特征是PERCLOS值。这为无侵入性地融合驾驶员行为以及生理信号来进行疲劳检测提供了一个新的方案。本文的主要工作如下所示:首先,提出了一种无监督学习的方式来根据RGB视频近似的得到PERCLOS值。本文的思路是先通过人脸检测算法得到眼部区域。然后对眼部区域使用OTSU算法二值化。由于OTSU算法二值化得到的二值图里虹膜容易与眼皮区域粘连。所以为了更精细的对眼部区域进行分割。我们使用K-means聚类算法对眼部RGB图像进行分割。然后计算OTSU算法得到二值图与K-means得到的不同标签分割图的Io U值来定位虹膜所在的区域。最终PERCLOS的计算方式是当眼皮覆盖虹膜区域超过50%的时间段来得到PERCLOS值。最后采用一维卷积神经网络对一段时间内的PERCLOS信号进行疲劳分类。其次,引入基于视觉的心率方法用于疲劳检测。本文先根据RGB视频获取血液容量变化信号,然后对血液容量变化信号进行短时傅里叶变换获得心率。最后在使用一维卷积神经网络根据心率时序信号来进行疲劳检测。最后,设计了一种多模态融合策略来融合心率和PERCLOS值进行疲劳检测;本文根据PERCLOS值、心率分别得到两个独立的疲劳检测子模型。然后对所得到的两个子模型的输出加权平均实现多模态融合疲劳检测。并且设计了实验验证算法的性能。