近年来,人们对于物流效率的高度需求,迫使驾驶员必须在有限的时间内将货物送到,造成货运司机的长时间驾驶,于是人类不可避免的疲劳感成为了驾驶事故多发的主要因素。而目前已有的疲劳检测方法都存在计算复杂度高,耗时长,对硬件环境要求高等困难。本文设计并实现了一套多信息融合的实时人脸疲劳检测和预警系统。该系统利用Android摄像头获取驾驶员脸部视频,通过改进的CFAN快速实现人脸关键点的粗定位,然后通过卷积神经网络和形态学相互结合的方法进行人眼和嘴部状态的分析,最后根据眼部和嘴部状态进行疲劳状态分析。在该算法的基础上本文搭建了一个基于Android和PC平台的实时疲劳检测和预警系统。论文主要工作如下:(1)人脸关键点定位研究。对比分析了级联回归模型和深度模型的特点,对深度模型中的CFAN算法进行了改进,加快了关键点定位的速度。(2)人脸关键点状态判别。根据人脸器官“三庭五眼”的几何分布特点,对人眼和嘴部的待检测区域进行了分割。然后通过形态学的方法得到人眼和嘴部的椭圆轮廓,继而利用最小二乘法进行椭圆拟合,从而以此来描述脸部关键点的疲劳状态。但是通过实验发现,该方法在外界环境的干扰较大时,准确性较差。基于该种情况,本文使用融合卷积神经网络和形态学的方式将人眼的状态进行分类并验证。(3)实时疲劳检测与预警系统设计和实现。开发了服务器端和android前端的相应软件,通过android车载端和服务器端之间的数据交换,基本上实现了车载端、中控中心显示端和服务器端的实时监控预警各项功能。