飞行模拟器是民用航空与军用航空中飞行员训练不可或缺的关键训练设备。借助头盔显示器开发的基于虚拟现实技术的轻量级模拟器舱内外视景均由计算机生成,通过改变视景可实现不同机型重配置,使用灵活,沉浸感好,因而受到广泛关注。但是由于佩戴了头盔显示器,飞行员在模拟训练过程中无法直接看到自身的手,因此交互性受到严重影响。为实现自然、和谐的人机交互,本文主要开展基于计算机视觉的手部交互技术研究。鉴于表观方法在计算资源、实时性等方面的优势,本文选择在表观模型下研究基于计算机视觉的手部交互关键技术,研究内容主要包括三个方面:手部定位,手势识别,手部姿态估计。其中手部定位是手部交互的前提,手势识别和手部姿态估计是手部交互技术的目标。考虑到人手的高自由度、高机动性,基于目标跟踪的方法容易出现目标丢失的情况,难以达到长时间跟踪,本文手部区域定位采用基于检测的跟踪定位方法(tracking by detection)提出了基于Hand Saliency Network(HSN)的手部检测网络,结合目标检测中广泛使用的Region Proposal Network(RPN),使用RGB图像和深度图像的双通道卷积神经网络结构,实现较为鲁棒和精确的手部定位。在表观模型框架之下,本文基于Poser构建手势模型库,建立手势2D图像和3D姿态参数间的映射,将手势姿态估计转化为手势识别问题。为消除自遮挡的影响,提高识别精度,本文在卷积神经网络框架下,提出了一种双视点下基于图像拼接技术的手势识别方法。,针对卷积神经网络的单通道结构,对双视点下的手势图像提出新的剪切拼接方法,在结合双视点信息的同时随机调整模型手的大小及位置来模拟真实情况,提高手势识别精度。为进一步提高手部3D姿态参数估计精度,本文提出了基于结构约束的手势姿态估计方法。首先建立了人手结构约束,避免关节点预测过程中出现物理不可达的人手姿态。在基于表观方法预测3D关节点的基础上,使用偏置向量回归的卷积神经网络,通过逆向运动学推出人手姿态参数与骨骼长度,通过物理约束损失函数辅助训练,提高手势姿态估计的精确度。