轻型飞行模拟器半虚拟现实座舱是训练飞行员、考察飞行器性能的重要设备。半虚拟现实座舱与传统的飞行模拟器相比，体积小，价格低，具有广阔的应用前景。本文以提高轻型飞行模拟器半虚拟现实座舱的性能为主要目标，应用图像采集与处理等方法，对半虚拟现实人手交互操作中的人手定位进行了研究。主要解决佩戴头盔显示器之后，如何定位进行操作的训练员的手部位置这一问题。论文的主要研究内容包括：(1)半虚拟现实座舱交互方式的特点以及实现方法。半虚拟现实座舱的视景显示系统与传统的模拟器不同，半虚拟现实座舱采用头盔式显示器，虚拟现实的舱外视景与舱内视景都显示在头盔显示器上。但佩戴头盔显示器以后，训练员无法看到执行操作的手部位置，因此给虚拟现实交互带来了困难。根据半虚拟现实的构成特点，本文设计了基于视频的手部定位与跟踪方法。对虚拟场景以及手部仍采用传统的几何建模方法生成。为实现交互，采用摄像机采集以及基于图像的手部跟踪定位方法，实现人手在虚拟场景以及实际场景位置一致的功能。(2)颜色空间以及颜色标记稳定性研究。在图像处理技术中颜色信息是有效的图像特征。摄像机采集到的彩色图像是由颜色分量合成的。因此无论是对颜色标记点还是对人手进行颜色提取，都需要经过颜色特征的判断来实现。而由于环境中光的强度以及光的方向会存在变化，因此在不同颜色空间中，不同的颜色特征受到的环境光的影响不尽相同。为提高颜色特征的稳定性，本文对各个颜色空间中的多种颜色点特征进行实验，找出稳定的颜色特征，以及对手部颜色特征来说最稳定的颜色空间。(3)基于标记的双目视觉手部定位技术研究。基于标记的双目视觉手部定位是简单有效的三维定位技术。通过在手部附加三种不同的颜色标记点，同时跟踪三种颜色来定位三点在三维空间中的坐标。对颜色标记的跟踪本文采用区域增长法来实现，由于传统区域增长法迭代次数多，速度慢，本文采用图像动态分块的方法来减少迭代次数。同时通过实验测试选取区块大小以及区块质心参数，使得颜色标记的质心点计算的实时性与抗干扰性得到了提高。为进一步提高抗噪声干扰能力，提出一种十字型颜色标记，并应用Hough变换的直线检测方法来求取相交点在图像中的坐标，实验结果证实了该方法获得的质心点坐标具有很高的稳定性。(4)基于摄像机阵列的裸手大运动范围跟踪技术研究。人手的大运动范围跟踪是半虚拟现实座舱环境中需要解决的问题之一。由于手部是柔性体，对手部整体而言，不同的手型整体特征变化很大。因此本文采用手部分割的方法。对手部图像进行分析处理，将手指从手部的整体中分割出去。仅保留手掌特征。由于手掌在手部运动以及手势变化过程中变化较小，因此以手掌质心为手部特征进行跟踪定位。为了解决手部在分割过程中易受到各种因素干扰的问题，本文采用摄像机阵列作为图像采集设备，在摄像机阵列中对摄像机进行分类。排除受到干扰的摄像机之后，对手掌进行跟踪。本文综合摄像机阵列检测到的图像信息，应用离群点检测等统计方法，应用未经标定的摄像机阵列可以得到与标定后的双目视觉系统精度相当的定位系统，同时系统检测范围以及系统的鲁棒性均有很大程度的提高。(5)基于动态光场的裸手图像合成技术研究。半虚拟现实座舱中手部的手势识别是手部跟踪的后续工作。而手势识别中会遇到两大问题，首先，在半虚拟现实座舱手部跟踪的过程中，座舱环境中的物体对手部存在着遮挡。手部受到遮挡之后，对手部特征的提取会不准确或失效。其次由于摄像机采集视角的原因，手部在操作按钮的过程中会存在旋转等动作，在手部旋转之后会出现自遮挡的问题。针对这两大问题，本文提出基于光场的去遮挡图像处理方法。综合应用摄像机阵列采集到的图像信息，以光场的形式融合图像，去除手部遮挡，并提出动态光场的方法，可以达到改变视角的效果，解决手部图像的自遮挡问题。由于该方法计算量较大，本文应用基于手部目标的局部光场建立方法，使得光场去遮挡以及转换视角的功能能够满足实时性的要求。这一方法为后续手势识别提供了完整有效的手部图像信息。