基于关系网络的二维人体姿态回归算法研究

来源 :大连海事大学 | 被引量 : 0次 | 上传用户:liuyu80237029
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计是图像分析和行为识别的重要基础,通过对图像中人体关节点位置的检测,用于后续对图像内容的辅助理解。随着电子设备的不断智能化,人体的行为分析越来越多的被用在智能监控、人机交互和运动分析等领域。故对其展开研究意义重大。针对人体姿态估计中普遍存在遮挡、关节点自由度大等问题,目前的二维人体姿态估计算法没有考虑到人体关节点之间的相互联系,而是直接通过卷积神经网络提取全局特征然后去预测每个关节点的位置。这样导致关节点之间失去了内在的联系。本文认为关节点之间的信息应该得到更多的关注。现有的回归网络算法没有利用到关节点在匹配时相互之间的约束信息,回归网络提取特征时更多的是使用高分辨率到低分辨率再上采样到高分辨的网络模型,以此得到的特征图在精度上有所损失。基于以上分析,本文给出了基于关系网络的二维人体姿态回归算法,主要工作如下:1)基于局部姿态约束的二维人体姿态估计人体姿态受人体活动动作的影响,各个关节点的自由度较大,关节点之间的搜索空间大,导致关节状态千变万化的特点。本文给出了一种基于局部姿态约束的二维人体姿态估计算法。人体姿态看起来是个整体的过程,但是具体到某个部分,我们可以从整体中分割出来进行分析,临近的关节点组成的部件可以看成是组成人体的一小部分。根据人体图结构的模型去构建关节点之间局部姿态约束关系,通过构建局部姿态约束的关系,增加更多的消息传递路径,使得关节点在匹配时能够利用到更多的约束信息。在MPⅡ数据集上进行了验证,取得了较好的效果,PCKh达到88.7%。2)基于关系网络的二维人体姿态估计对于可见关节点,局部姿态约束可以通过学习结构信息对相邻关节点进行更好地进行约束。但在人体关节点之间存在遮挡干扰的影响,很难通过局部关节点去确定其他关节点的位置。针对这个问题,本文给出了关系网络的二维人体姿态估计算法。通过关节点之间的特征相似来构建人体的关系网络,利用他们之间的外观特征和几何特征进行交互,外观特征表示为物体自身颜色形状这些外观上的特征,几何特征代表物体的位置,这里有多个关系模块,如同神经网络中每层都会有很多不同的通道,以便来学习不同关节点之间的特征,最后模块的输出是当前关节点和各个关节点的外观特征的融合。每个关系模块都用所有的关节点的两个特征做输入,得到不同的关系特征后的结合,并和关节点原来的特征信息融合。在MPⅡ数据集上进行了实验,在遮挡情况下的关节点得到明显改善,其中PCKh达到89.1%。3)基于多分辨率融合的二维人体姿态估计为了使网络模型输出的特征图回归关节点位置更加精准,本文针对目前回归网络模型都是从高到低分辨率网络产生的低分辨率图像中恢复高分辨率特征图回归关节点位置可能不准确的问题,给出了一种基于多分辨率融合的二维人体姿态估计算法。本文根据高分辨率网络结构特点进行了改进,在回归网络的模型中添加了多分辨率的结构,多分辨结构利用了高分辨可以精准定位关节点的位置和低分辨率能够获取更多的语义信息地特点,将不同分辨率层进行了融合得到网络最终的输出。实验结果表明,本文给出的多分辨率融合结构能够有效地改善关节点位置检测不准确的问题,取得了较好的效果。为了验证基于关系网络的二维人体姿态回归算法的性能,本文在MPⅡ数据集上进行了实验。实验结果显示,本文算法成功有效地利用到了人体关节点之间的信息,更好地实现二维人体姿态估计,其中PCKh达到89.2%,优于对比算法的结果,表明了算法的有效性。
其他文献
知识图谱问答任务是指以知识图谱作为答案信息来源的自动问答任务。借助知识图谱问答模型,用户通过自然语言问句描述其信息需求,就可以从知识图谱中获取正确答案。因此知识图
如何快速高效地获得高精度三维电磁模拟结果一直是三维电磁正演研究的重点。为进一步提高数值模拟的精度和稳定性,本文将基于Gauss-LobattoChebyshev(GLC)多项式的谱元法引入
伊春市大石沟-汤原县兴林林场一带位于丰茂—亚布力地槽褶皱带,属东风山群受变质沉积铁、金(钴)矿床成矿亚带。目前于区已发现多处金属、非金属矿床、矿化点及矿化信息地,其
本研究分别采用了紫外线诱变、硫酸二乙酯诱变以及两者复合诱变法对产糖化酶黑曲霉进行了诱变处理,以期获得产糖化酶酶活力高的优良菌株。经过初筛和复筛,得到6株糖化酶活力
生产现场管理优化是制造型企业生产过程持续改进的一个重要方法。通过对生产现场的优化,可以使企业大幅度的提高生产效率、降低成本、减小劳动强度、提高产能,最终提高企业对
研究区位于内蒙古自治区兴安盟地区,隶属华北板块之宝音图-锡林浩特火山型被动陆缘——乌兰浩特-林西晚古生代裂谷带,处于新华夏构造体系大兴安岭隆起带的东缘,以嫩江断裂为
矿工的不安全行为是导致煤矿安全事故发生的最主要原因,因此,从矿工行为出发,对煤矿安全生产进行治理与改善,是解决煤矿安全问题的根本途径之一。随着物联网技术与人工智能的
在“新通道”设计与社会创新项目近十年的发展历程中,影像被赋予为项目传播与交流的重要手段作用,基于项目要求摄制大量极具地域文化特色的影像作品。影像作为记录非遗文化最
棒曲霉素(patulin,PAT)是一种对人类健康造成极大威胁的真菌毒素,普遍存在于水果及其制品中,在苹果及其制品中的污染尤为严重。利用微生物法降解棒曲霉素以其经济、安全、高
大数据时代下,在生产实践中获取的属性越来越多。一部分属性可能是冗余的或与分类任务无关,在进一步数据处理之前需要将它们删除。特征选择(也称为属性约简)是一种用于减少特