随着工业技术的快速发展,对装配质量和装配精度的要求也越来越高,通过虚拟装配系统可以辅助工程师提前发现设计的产品在装配中存在的问题,从而提高产品在装配设计环节的效率和可靠性。人机交互技术作为支撑虚拟装配系统运行的核心技术之一,随着深度学习、大数据、人工智能等计算机技术的蓬勃发展也取得了重大突破。手势交互作为虚拟装配系统主要交互方式,不仅可以提高虚拟装配的自然性,还可以推动制造业装配环节的数字化进程,具有重要的研究价值。目前,在虚拟装配系统手势交互中依然存在输入数据预处理结果和手关节点估计结果的精度不满足装配者精确控制虚拟手模型和零件模型进行自然交互的问题,本文针对以上问题主要研究内容如下:（1）针对深度图自身存在轮廓模糊,会造成后续手关节点估计的累积误差,本文提出了基于深度图彩色图对齐的手区域分割算法。基于对齐后的深度图和彩色图的相同位置区域表示同一物体的原理,本文用自适应椭圆肤色模型从彩色图中确定轮廓清晰的手区域,从而得到精确的手区域深度图,并将分割手区域深度图转化为三维空间手点云,提高数据信息的利用程度。（2）针对因虚拟装配系统中装配者手运动频繁而且手的方向变化幅度大,手容易产生自遮挡,手关节点估计困难的问题,本文提出了基于边卷积（Edge Convolution,Edge Conv）特征重构的手势估计算法。基于图卷积网络（Graph Convolution Neural Networks,GCNN）中运用Edge Conv重构特征会考虑点间关系的理论,本文对关节点特征用Edge Conv进行特征重构,重构后特征考虑了手关节点间信息可以提升手关节点的估计精度。（3）最后,在上述设计的对深度图预处理技术以及手势估计算法基础上,本文研发设计了虚拟装配系统。本系统通过手势估计输出的手关节信息和虚拟手绑定实现对虚拟手模型的控制功能;通过二级距离阈值检测结构结合基于手势和形状的标签预测方法实现装配者抓取意图精确识别功能;在零件的装配环节,实现了虚拟手对零件模型的熨帖抓取、对零件的抓取移动、零件间碰撞检测等功能。本文设计实现的系统能够自然流畅的完成虚拟手与零件模型交互,具有很强的通用性和推广价值。