论文部分内容阅读
人体姿态估计是计算机视觉领域的研究热点和难点,在智能监控、高级人机交互、图像与视频检索、虚拟现实、运动分析等领域有着广泛的应用前景。而单目图像和视频中的人体姿态估计中存在若干需要解决的关键问题,例如,搜索空间较大而引起部位搜索效率相对较低,人体姿态的多样化导致的部位误检,遮挡引起的人体部位漏检和误判,视频姿态估计的推理结构复杂度偏高等。针对以上姿态估计中的四个方面的关键问题,本文分别提出基于MRF超像素标记的部位搜索算法、基于多模人体结构的姿态多样化表示方法、基于遮挡级别的遮挡部位建模方法和基于组合模型的视频人体姿态估计推理方法。本文的主要研究内容如下所示。
为了有效提高部位搜索效率,提出一种基于超像素的部位搜索方法,引入基于MRF的超像素标记方法,通过超像素的遍历以完成部位匹配。首先,完成整幅图像的超像素提取,提出一种超像素MRF模型完成超像素类别的标记。然后以超像素为单位进行部位搜索,将超像素中心作为正方形部位检测器的匹配中心进行部位识别;最后通过DPM方法获得姿态估计结果。在数据集IP和LSP上的实验结果表明,基于超像素标记的姿态估计算法可以从图像中将人体部位标记出来,有效地减少了部位搜索时间,提高了姿态估计的准确率。
针对姿态估计方法受到人体姿态多样性的影响问题,研究适合表示人体结构的模型,提出一种基于GCT(Global-Constellated-Tree)结构的多样化人体姿态表示方法。首先,提出一种多模人体整体(Global)检测器完成人体整体方位的检测,以获得初始人体候选集;然后提出一种多模型的星型(Constellated)结构,表示方位多样化的人体各个部位和整体之间的关系;为了更好地描述相邻部位之间的分布关系,在整体-星型模型中融合树型(Tree)模型。数据集IP和LSP的结果表明,该方法提高了姿态估计准确率,尤其提高在人体姿态多样的情况下的结果。
为了全面考虑遮挡对部位检测和人体结构的影响,提出基于部位遮挡级别的遮挡部位建模方法,建立多种遮挡情况下的人体部位检测器并描述相邻部位之间的关系。首先定义遮挡级别为人体部位的被遮挡程度,通过计算部位遮挡比例和部位方向获得;然后根据遮挡级别为每个部位建立对应级别的部位检测器,并给出基于遮挡级别的部位间形变模型;最后依据以上两个模型的总体匹配得分,获得最合理的人体姿态。在标准数据集IP和LSP上的实验结果表明,该方法提高了姿态估计的整体准确率,特别是减少了有遮挡情况下的部位误匹配问题。
针对视频中姿态估计的正确率较低、推理优化复杂度高的问题,提出基于CES(Composite-Elementary-Symmetric)组合模型的人体姿态估计推理方法。首先,针对多帧姿态推理结构的复杂度较高的问题,提出人体组合(Composite)部位模型,表示人体中若干刚体部位及其关系,并根据组合部位的树型结构完成多帧图像的姿态推理优化;然后,为了提高单帧图像中人体各个细微部位的检测率,提出基本(Elementary)部位模型,将组合部位划分为若干基本部位,通过基本部位的简单线性关系构建单帧图像中的组合部位。最后,为了进一步提高推理效率,在组合模型中引入对称(Symmetric)部位模型,统一描述人体结构中各个对称部位,减少人体部位重复检测,优化姿态推理过程中的结构复杂度。在标准数据集Outdoor、HmanEva-Ⅰ和N-Best上的结果表明,该方法提高了姿态估计准确率的同时提升了视频推理效率。
为了有效提高部位搜索效率,提出一种基于超像素的部位搜索方法,引入基于MRF的超像素标记方法,通过超像素的遍历以完成部位匹配。首先,完成整幅图像的超像素提取,提出一种超像素MRF模型完成超像素类别的标记。然后以超像素为单位进行部位搜索,将超像素中心作为正方形部位检测器的匹配中心进行部位识别;最后通过DPM方法获得姿态估计结果。在数据集IP和LSP上的实验结果表明,基于超像素标记的姿态估计算法可以从图像中将人体部位标记出来,有效地减少了部位搜索时间,提高了姿态估计的准确率。
针对姿态估计方法受到人体姿态多样性的影响问题,研究适合表示人体结构的模型,提出一种基于GCT(Global-Constellated-Tree)结构的多样化人体姿态表示方法。首先,提出一种多模人体整体(Global)检测器完成人体整体方位的检测,以获得初始人体候选集;然后提出一种多模型的星型(Constellated)结构,表示方位多样化的人体各个部位和整体之间的关系;为了更好地描述相邻部位之间的分布关系,在整体-星型模型中融合树型(Tree)模型。数据集IP和LSP的结果表明,该方法提高了姿态估计准确率,尤其提高在人体姿态多样的情况下的结果。
为了全面考虑遮挡对部位检测和人体结构的影响,提出基于部位遮挡级别的遮挡部位建模方法,建立多种遮挡情况下的人体部位检测器并描述相邻部位之间的关系。首先定义遮挡级别为人体部位的被遮挡程度,通过计算部位遮挡比例和部位方向获得;然后根据遮挡级别为每个部位建立对应级别的部位检测器,并给出基于遮挡级别的部位间形变模型;最后依据以上两个模型的总体匹配得分,获得最合理的人体姿态。在标准数据集IP和LSP上的实验结果表明,该方法提高了姿态估计的整体准确率,特别是减少了有遮挡情况下的部位误匹配问题。
针对视频中姿态估计的正确率较低、推理优化复杂度高的问题,提出基于CES(Composite-Elementary-Symmetric)组合模型的人体姿态估计推理方法。首先,针对多帧姿态推理结构的复杂度较高的问题,提出人体组合(Composite)部位模型,表示人体中若干刚体部位及其关系,并根据组合部位的树型结构完成多帧图像的姿态推理优化;然后,为了提高单帧图像中人体各个细微部位的检测率,提出基本(Elementary)部位模型,将组合部位划分为若干基本部位,通过基本部位的简单线性关系构建单帧图像中的组合部位。最后,为了进一步提高推理效率,在组合模型中引入对称(Symmetric)部位模型,统一描述人体结构中各个对称部位,减少人体部位重复检测,优化姿态推理过程中的结构复杂度。在标准数据集Outdoor、HmanEva-Ⅰ和N-Best上的结果表明,该方法提高了姿态估计准确率的同时提升了视频推理效率。