手势估计是计算机图形领域与人机交互领域中重要的研究方向。随着计算机计算速度的突飞猛进以及其硬件成本的降低,基于深度学习的手势估计也得到了跨越式的发展。手势估计在自动驾驶、虚拟现实(AR)、增强现实(VR)、智能家居等诸多实际场景中具有广泛的应用。因此,手势估计已成为人类社会智能化发展的重要研究领域。然而,由于手部姿态变化丰富、手势识别背景复杂等原因,当前的手势估计在识别准确度、识别实时性等方面仍然存在诸多问题。首先,本文对手势估计中手部分割的已有方法进行了分析和研究。通过研究发现,提高手部分割的准确性有助于提升手势估计的效果,而传统基于语义分割的手部分割方法对于细节的刻画不足,因此,本文提出了基于融合结构FCRN网络的手部分割方法。首先,通过NIN模型将手势数据集中的RGB图像进行处理得到对应的皮肤检测图像;然后,将手势数据集中的RGB图像与通过NIN模型得到的皮肤检测图输入到具有Atrous空间金字塔池的全卷积残差网络FCRN网络进行深度融合训练,其中Atrous空间金字塔池用来优化模型的特征提取;最后,通过实验验证得出本文提出的方法优于传统的手部分割方法。其次,本文对手势估计中的三维关节点检测方法进行了研究与分析。通过分析变分自动编码器(VAE)的原理,以及跨模态方法在手势估计中的可行性,提出了基于CVAE-CGAN模型的跨模态手势估计方法。该方法将分割后的手部信息加入到VAE模型的训练中,使模型训练的输入信息更加丰富,此时,VAE模型转变为CVAE模型;然后,在CVAE的隐藏空间中添加了对齐网络CGAN,该方法将RGB图像模态的隐藏空间映射到3D手势模态的隐藏空间,比已有的跨模态共享隐藏空间的方法更加准确;最后,通过实验得出,本文提出的基于CVAE-CGAN模型的跨模态手势估计方法要优于已有的通过RGB图像估计3D手势的方法。