飞行模拟机座舱中虚拟视景采用虚拟头盔显示的应用过程中，由于虚拟头盔对外界视觉的阻隔，影响操作者自身对手部位置的判定，无法有效进行交互。此时需要对手部进行合理的建模分析，将手准确而稳定的显示在虚拟视景中。因此对于手部的跟踪识别就极为重要，本文以此为切入点，提出了融合多特征的手部特征集合，实现稳定的定位、跟踪，并依据Pareto-Optimality(帕累托)最优解实现对手势的识别。　　手部跟踪是虚拟现实环境中视觉交互系统中的基础和核心。考虑现有视觉跟踪方法在手部运动姿态、尺度变化及复杂背景条件下出现的鲁棒性等问题，在LBP(local binary pattern)特征基础上,与形状轮廓信息结合构建手部图像局部区域梯度方向二值模式建立局部和全局的特征直方图描述，基于粒子滤波框架实现手部跟踪；针对粒子匮乏问题，利用红外深度信息，引入基于群智能的人工蜂群算法将当前时刻的观测信息融合在粒子预测采样、更新阶段，高效完成目标的搜索、优化，降低粒子集的衰减程度，改善状态估计的精度。实验结果表明，该方法在各种复杂背景下可以实现手部的鲁棒性跟踪。　　针对手部姿态识别问题，基于表观方法建立多个视点下的手势图像，提高识别精度，传统表观方法的搜索过程中，需要对每个视点下的图像进行特征比较，在获得一层近邻搜索节点后方能进行下一层的搜索，搜索效率低下。本文基于 Pareto-Optimality算法将姿态识别中的单目标图像匹配转化为多视点查询优化问题，将逐层搜索变成不同视点层的并行搜索，提高搜索效率。本文根据手势运动规则，建立三自由度的二十种手势模型库，对基于 K-NN（K-NearestNeighbor）算法以及Pareto算法在识别分类过程中时间效率以及准确度进行对比实验。实验结果表明在时间效率上Pareto算法要优于K-NN算法，准确度方面Pareto算法具有更好的稳定性。