铁路运输生产力的高速发展,对铁路行车的安全保障提出了更高要求。由于机车司机的驾驶疲劳是引发铁路行车安全事故的主要原因之一,机务管理部门迫切需求防范机车司机驾驶疲劳的相关先进技术和设备,期望以此减少由机车司机驾驶疲劳所导致的人因事故发生。本文以铁路机车司机这一特殊驾驶领域的作业人员为研究对象,围绕其驾驶疲劳的形成机理、驾驶疲劳的影响因素与风险评价、驾驶疲劳相关音视频表现特征参数的提取与分析、以及多信息融合检测技术等核心问题展开全面深入的理论和实验研究,并以此设计和实现了一个实时、准确、鲁棒的机车司机驾驶疲劳在线检测及预警系统。具体的研究内容如下：(1)针对铁路机车驾驶作业的特殊性,通过对机车司机作业行为、值乘制度以及工作条件等方面的调查研究,系统分析了机车司机驾驶疲劳的形成过程和产生机理。由此,总结了机车司机工作负荷、轮班方式、职业素质和作业环境等方面的多种疲劳影响因素,为机车司机驾驶疲劳的风险评价提供了依据。同时,讨论了司机处于驾驶疲劳状态下,在行为、生理和心理上所可能产生的各种表现特征,以及这些表现特征在驾驶疲劳检测应用方面的适用性和可行性。(2)机车司机的工作负荷计算与驾驶疲劳风险分析。首先,通过对机车司机具体作业任务的层次分解以及各作业任务的需量估计,提出了一种机车司机工作负荷计算方法。该方法以具体机车驾驶任务对人体的需量为研究对象,可以客观准确地反映出司机在执行不同作业任务下的工作负荷指标。随后,采用改进的模糊层次分析法将工作负荷指标与轮班方式、职业素质和线路环境等方面的多种疲劳影响因素指标相结合,建立了机车司机驾驶疲劳风险的多指标评价模型。最终,通过对不同车次不同时段下的机车司机驾驶疲劳风险评价实例,验证了该模型在实际应用时的准确性和有效性。这部分研究所得的驾驶疲劳风险评价结果,不仅能够为司机轮班工作的编排管理上避免驾驶疲劳提供依据；还为多信息融合的驾驶疲劳检测系统提供了概率推理所需的疲劳先验知识。(3)确立了一种基于语音与视频多传感器信息融合的机车司机驾驶疲劳在线检测方案,并对相关的疲劳特征参数进行了提取分析。首先,根据驾驶疲劳对人体发音器官的影响,提取分析了基音频率、共振峰和Mel频标倒谱系数等传统语音特征,以及语音混沌非线性动力学模型下的最大Lyapunov指数、分形维数和近似熵等语音非线性特征与人体疲劳的变化规律,并通过实验验证了这些语音特征与机车司机驾驶疲劳的相关性。其次,为了能够从视频数据中快速、准确、鲁棒地提取司机眼部及面部等多种疲劳特征参数,针对实际机车场景下的光照条件变化以及司机头部倾斜旋转等具体问题,提出了：基于肤色自适应更新模型的图像肤色分割算法,基于Haar特征与Adaboost分类器的人脸识别算法,以及基于Zernike矩特征的人眼定位及开合度识别方法等,一系列逐步缩小特征提取范围的图像处理与识别算法。并在此基础上,提取分析了机车司机的眼部闭合时间百分比、平均闭眼速度、最大持续闭眼时间、平均睁眼程度和眨眼频率等眼部特征,以及哈欠频率和点头频率等司机面部特征在不同疲劳状态下的统计规律。(4)提出一种特征层融合与决策层融合相结合的多信息融合检测方法,将驾驶疲劳风险评价结果以及所提取的多种特征参数综合应用于驾驶疲劳的在线检测。首先在特征层融合部分,采用模糊支持向量机算法设计了多特征驾驶疲劳分类器,并对算法中的样本模糊隶属度函数做了相应改进。随后在决策层融合部分,通过动态贝叶斯网络融合算法,将语音多特征、眼部多特征、哈欠频率和点头频率等四种特征层分类器的初步判决结果与驾驶疲劳风险评价所得的先验知识相结合,以因果概率推理的方式融合得到最终的一致性驾驶疲劳检测结果。实验结果表明,这种多信息融合检测方法不仅能够根据驾驶疲劳的先验风险来自适应地动态调节疲劳判决标准,还可以良好地抑制各特征层分类器的误检和漏检对最终检测结果的影响,从而在整体上表现出良好的驾驶疲劳检测性能。