随着航空技术的发展,由飞机设备故障引起的飞行事故占比已经大幅度下降,人为因素正逐渐成为制约航空安全发展的重要因素。飞行员工作负荷作为运输类飞机适航标准的重要组成,是驾驶舱内人为因素研究的重要内容。本课题旨在使用计算机视觉技术检测跟踪飞行员操作手势,并对飞行任务中飞行员操作的类型、操作开始时间、操作持续时间等进行智能识别,为进一步研究飞行员工作负荷以及驾驶舱内人为因素提供基础。本论文的研究内容主要包括:(1)分析常见的三维重建方案,使用红外深度摄像头获取深度信息并实现驾驶舱内的三维重建。(2)基于三维点云信息,提出一种结合区域生长技术的手部跟踪算法,解决了以往手部跟踪算法需要正面面对摄像头以及手部活动区域限制等问题,并设计实验验证跟踪算法的有效性。(3)根据飞行机组标准操作手册,提出三种飞行员的基本操作。(4)利用跟踪算法获取的手部信息,提出一种基于操作段的飞行员操作识别方法,并分析影响该算法识别效果的因素。(5)依照标准飞行操作流程,设计了手动飞行操作实验。用本课题提出的解决方案对飞行员操作类型、操作时间进行识别,并讨论识别方案出现误差的原因。实验结果证明,本文中提出的识别方案能有效地识别飞行员操作的类型,并计算操作的开始时间,结束时间以及持续的时间。