论文部分内容阅读
人体姿态估计是图像分析和行为识别的重要基础,通过对图像中人体关节点位置的检测,用于后续对图像内容的辅助理解。随着电子设备的不断智能化,人体的行为分析越来越多的被用在智能监控、人机交互和运动分析等领域。故对其展开研究意义重大。针对人体姿态估计中普遍存在遮挡、关节点自由度大等问题,目前的二维人体姿态估计算法没有考虑到人体关节点之间的相互联系,而是直接通过卷积神经网络提取全局特征然后去预测每个关节点的位置。这样导致关节点之间失去了内在的联系。本文认为关节点之间的信息应该得到更多的关注。现有的回归网络算法没有利用到关节点在匹配时相互之间的约束信息,回归网络提取特征时更多的是使用高分辨率到低分辨率再上采样到高分辨的网络模型,以此得到的特征图在精度上有所损失。基于以上分析,本文给出了基于关系网络的二维人体姿态回归算法,主要工作如下:1)基于局部姿态约束的二维人体姿态估计人体姿态受人体活动动作的影响,各个关节点的自由度较大,关节点之间的搜索空间大,导致关节状态千变万化的特点。本文给出了一种基于局部姿态约束的二维人体姿态估计算法。人体姿态看起来是个整体的过程,但是具体到某个部分,我们可以从整体中分割出来进行分析,临近的关节点组成的部件可以看成是组成人体的一小部分。根据人体图结构的模型去构建关节点之间局部姿态约束关系,通过构建局部姿态约束的关系,增加更多的消息传递路径,使得关节点在匹配时能够利用到更多的约束信息。在MPⅡ数据集上进行了验证,取得了较好的效果,PCKh达到88.7%。2)基于关系网络的二维人体姿态估计对于可见关节点,局部姿态约束可以通过学习结构信息对相邻关节点进行更好地进行约束。但在人体关节点之间存在遮挡干扰的影响,很难通过局部关节点去确定其他关节点的位置。针对这个问题,本文给出了关系网络的二维人体姿态估计算法。通过关节点之间的特征相似来构建人体的关系网络,利用他们之间的外观特征和几何特征进行交互,外观特征表示为物体自身颜色形状这些外观上的特征,几何特征代表物体的位置,这里有多个关系模块,如同神经网络中每层都会有很多不同的通道,以便来学习不同关节点之间的特征,最后模块的输出是当前关节点和各个关节点的外观特征的融合。每个关系模块都用所有的关节点的两个特征做输入,得到不同的关系特征后的结合,并和关节点原来的特征信息融合。在MPⅡ数据集上进行了实验,在遮挡情况下的关节点得到明显改善,其中PCKh达到89.1%。3)基于多分辨率融合的二维人体姿态估计为了使网络模型输出的特征图回归关节点位置更加精准,本文针对目前回归网络模型都是从高到低分辨率网络产生的低分辨率图像中恢复高分辨率特征图回归关节点位置可能不准确的问题,给出了一种基于多分辨率融合的二维人体姿态估计算法。本文根据高分辨率网络结构特点进行了改进,在回归网络的模型中添加了多分辨率的结构,多分辨结构利用了高分辨可以精准定位关节点的位置和低分辨率能够获取更多的语义信息地特点,将不同分辨率层进行了融合得到网络最终的输出。实验结果表明,本文给出的多分辨率融合结构能够有效地改善关节点位置检测不准确的问题,取得了较好的效果。为了验证基于关系网络的二维人体姿态回归算法的性能,本文在MPⅡ数据集上进行了实验。实验结果显示,本文算法成功有效地利用到了人体关节点之间的信息,更好地实现二维人体姿态估计,其中PCKh达到89.2%,优于对比算法的结果,表明了算法的有效性。