手势是人类常用的交流方式,是人机交互的重要组成部分,而准确的三维手姿态估计则有助于计算机更好的理解手势的含义,是实现人机交互的先决条件之一。近年来,由于深度相机的迅速发展,深度数据获取难度大大降低,同时深度数据中的深度值对于估计精度提升巨大,使得越来越多的学者倾向于基于深度数据的方法研究,从而使基于深度图像的三维手姿态估计取得了巨大进展,但是深度图像的现实应用范围较小,基于深度图像的三维手姿态估计的现实应用也受到限制。相比于深度相机,彩色相机的受众群体数量庞大,彩色图像的应用范围非常广泛,如今,手姿态估计的研究重心也逐渐偏向基于彩色图像的研究,本文的研究也是基于彩色图像进行的。但是相比于深度图像,彩色图像缺乏深度信息,以及手指自身的高度灵活性,手势的自我遮挡等因素,基单个于彩色图像的三维手姿态估计研究非常具有挑战性。为了解决基于单个彩色图像的三维手姿态估计困难这一问题,本文基于卷积神经网络,提出几个创新性的解决思路:首先,在手姿态估计网络中新增手部掩膜估计,手部掩膜即手的轮廓信息与空间布局,该信息有助于进行手部定位与跟踪,在卷积神经网络中增加轮廓信息的特征提取,有助于后续的手姿态估计,同时手部掩膜对后续的二维手姿态估计具有软约束作用,能进一步提高手姿态估计的准确度。其次,引入级联概念,设计了一种三阶段级联卷积神经网络,将手姿态估计的各个阶段级联起来进行端到端的训练,利用神经网络的反馈机制,让各个估计阶段互相影响、共同进步,最终实现全局最优的三维手姿态估计效果。最后,新增分层思想,设计了一种分层卷积神经网络,将手姿态估计分为手指姿态估计和手掌姿态估计两个子任务,两个子任务并行工作,分别提取出更具有代表性的手指特征和手掌特征,最终将两种特征信息融合起来估计三维手姿态,能够有效提高三维手姿态的估计精度,同时还新增了手指三维姿态估计和手掌三维姿态估计,这两个估计对于二维姿态估计具有软约束作用,能够间接的提升三维手姿态估计精度。