增强现实电子沙盘在物理沙盘的基础上采用增强现实技术实现了动态构建虚拟三维模型,全方位展现立体地形地貌和沙盘要素;同时改变了指挥员与沙盘的交互方式,直接影响着指挥员在电子沙盘上的指挥效率。将手势交互应用在电子沙盘中,为指挥员提供高效自然的交互方式、提高其指挥效率。因此本文对手势交互和指尖跟踪技术进行研究,研究内容主要包括指尖检测方法、指尖三维运动估计与跟踪和多传感器融合的手势交互。首先,针对沙盘交互系统实时性和准确性的要求,设计了一种模板匹配与区域生长结合的指尖检测方法。根据指尖几何特征和人体肤色特性,在初始图像中采用基于模板匹配的区域生长方法分割出手部区域,然后在该区域采用细检索指尖模板匹配,完成初始指尖检测;针对区域生长算法耗时较长的问题,在后续检测过程中只在当前指尖点的一定邻域内进行匹配,从而减少计算量,实现快速准确的指尖检测。其次,根据手指尖运动生理特征,将指尖的二维运动信息映射到三维球面上,并提出了一种基于指尖运动三维映射的卡尔曼滤波方法。根据指尖运动规律,拟合出指尖运动的复合卡尔曼运动模型,对指尖位置进行预测更新,实现指尖运动的稳定跟踪。最后,本文在AR智能眼镜Hololens平台上实现增强现实展示和手势交互,由于Hololens识别的手势种类有限,提出了融合肌电信号的Hololens手势识别扩展方法。在光学手势识别基础上扩展基于肌电信号的手势识别,根据两种输入方式不同的特点,本文设计了一种决策级多传感器融合方法,提高了电子沙盘的手势交互鲁棒性。本论文研究成果最终在增强现实电子沙盘场景中得到应用验证。