论文部分内容阅读
从图像中估计人体姿态是计算机视觉领域具有挑战性的问题之一。人体姿态估计的研究对人体跟踪、行为识别和图像高层语义理解等许多其它计算机视觉问题有重要的推动作用,在实际中也有广泛的应用价值。虽然前人对该问题做了不少研究,但由于大尺度形变、视角变化、遮挡和复杂背景等因素的影响,人体姿态估计至今仍是一个较难的研究问题。传统方法主要采用树型结构模型,其结构化表达能力较弱,对形变和遮挡不鲁棒。在姿态估计的后处理中,常用的检测框非极大值抑制也忽略了人体的结构信息。图像中的物体和人有其固有的结构先验属性。利用结构先验对人体进行结构化建模是解决人体姿态估计中难点问题的重要途径。人体姿态估计中的结构先验包括人体部件之间的上下文空间约束关系,部件与部件之间以及部件与背景之间的遮挡关系,以及镜像对称结构关系等,它们对克服人体姿态估计中的困难因素具有重要的作用,但传统方法并没有充分考虑到。本文从结构先验表达与学习的角度对人体姿态估计问题进行研究,主要展开了以下工作: (1)提出了一种上下文结构模型,用于解决人体姿态估计中由遮挡和形变引起的重复检测的问题。传统的树型结构模型对人体部件之间的物理连接关系进行了建模,却忽略了不直接相连的左右肢部件之间的约束关系。人体部件是左右对称的,当某些部件存在遮挡和大尺度形变时,左右两边的部件很容易同时被定位到特征较强的一侧部件所在的图像区域,产生重复检测的问题。我们提出一种上下文结构模型,它既包含了相连部件间的局部运动学约束,又包含了不直接相连的部件之间全局的上下文约束。通过引入虚拟部件,我们可以用树型结构对局部和全局的约束关系进行表达,并且可以利用动态规划对模型进行快速高效的推理。我们所提出的方法能够有效克服现有树型结构模型在局部遮挡和大尺度形变下容易出现重复检测的不足,提高了人体部件的检测精度,特别是难度较大的肢体末端部件的检测精度。 (2)提出了一种遮挡关系图模型,用于解决人体姿态估计中的遮挡问题。遮挡是人体姿态估计中的一个难点问题。主流的树型结构模型虽然结构简单且便于快速推理,但难以对复杂的遮挡关系尤其是自遮挡关系进行建模。带环图模型的模型表达能力较强,但其推理复杂度很高,这限制了它在人体结构建模中的应用。我们提出一种遮挡关系图模型,它能同时对自遮挡和它遮挡进行建模,并学习人体部件之间以及部件和背景之间的遮挡关系。同时,我们提出一种高效的带环图模型推理方法,能使我们的模型既具有较强的遮挡关系表达能力,又具有和树型结构模型相近的推理复杂度。实验结果表明,我们的方法在遮挡情况下能得到更为鲁棒的人体姿态估计结果。 (3)提出了基于镜像非极大值抑制方法,用于提高人体姿态估计后处理的精度。后处理环节是人体姿态估计中容易被忽视的问题。传统方法主要基于检测框极大值抑制,忽略了人体姿态的结构信息,因而得到的后处理结果并不是最优的。此外,现有方法没有考虑到原图和镜像图检测结果之间的镜像一致性。我们提出一种镜像非极大值抑制的后处理方法,它能够利用镜像图像的检测结果来验证姿态估计结果的有效性,同时考虑了人体姿态的结构信息。 实验结果表明,我们的方法能够得到比传统方法更优的后处理结果。我们的方法还可以应用到人脸关键点检测等问题的后处理上。