基于卷积神经网络的人体姿态估计方法研究

来源 :电子科技大学 | 被引量 : 9次 | 上传用户:kevinlynx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计是计算机视觉中的热点研究方向。由于图像受到拍摄角度、光照、周围环境等因素的影响,早期基于手工特征的人体姿态估计方法一直无法获得比较满意的性能。随着深度学习特别是卷积神经网络相关研究的深入,基于卷积神经网络的人体姿态估计取得了显著进步,使用卷积神经网络学习特征表示替代传统手工特征能够实现端到端的优化,当前基于卷积神经网络的方法已经成为了人体姿态估计中的主流方法。虽然基于卷积神经网络的人体姿态估计方法取得了较大的进展,但是在实际应用中,基于卷积神经网络的人体姿态估计方法仍然面临一些现实问题。一方面,目前现有的研究主要关注如何提升人体姿态估计方法的精度却忽视了模型在精度与速度之间的平衡,但这却是实现高效人体姿态估计的关键。另一方面,先前的方法并未意识到量化误差与优化矛盾问题在人体姿态估计中的重要性,而这是实现高精度人体姿态估计的关键问题。为了解决这两个核心问题,本文分别从高效网络架构设计、轻量级模型训练策略以及高精度定位这三个角度展开研究工作。本文的主要工作及贡献如下:(1)针对现有人体姿态估计网络架构在设计时未考虑模型的效率问题,提出了一种基于层次上下文学习的高效人体姿态估计网络架构。首先研究了人类视觉感知中的前置注意加工机制,然后将该机制融入到网络架构的设计思想中,提出了一种多阶段的层次上下文网络。整个网络由若干上下文阶段与一个预测阶段构成,网络中各个阶段的子网络由阶段间共享的低层特征提取模块、主干网络、上下文导入模块以及中间上下文学习模块所构成。阶段间共享的低层特征提取模块负责提取各个子网络所需要的低层特征,上下文导入模块将提取到的低层特征以及前一阶段子网络所输出的上下文信息导入到当前子网络中,每个子网络都会收到来自中间上下文学习模块的监督信息。在整个网络架构中子网络的输入由低分辨率逐渐过渡到高分辨,各个子网络中的主干网络使用不同复杂度的模型,低分辨率输入的子网络负责关节点快速的初步定位,只需要简单的模型,而高分辨率输入的子网络负责关节点高精度精细化定位,需要复杂的模型。这种设计能够在不降低模型精度的前提下保证模型的效率。最后,实验验证了层次上下文网络架构在效率与精度方面的优势。(2)针对现有研究中缺乏通用的模型轻量化方法以及轻量级模型会面临的性能退化问题,提出了基于姿态蒸馏的快速人体姿态估计方法。首先,以堆叠沙漏网络为例探究了主流人体姿态估计模型的冗余性,提出了一种通用的模型轻量化方法,减少了人体姿态估计模型的参数量与计算开销。其次,轻量级人体姿态估计模型虽然具有较低参数量与计算开销,但模型的泛化能力也同时发生了退化,为了提升轻量级人体姿态估计模型的泛化能力,将知识蒸馏思想引入至人体姿态估计领域并设计了一种适用于人体姿态估计的蒸馏方法以将重量级网络中所学习到的知识迁移到轻量级网络中并对蒸馏过程中所学习到的知识进行可视化分析。在可视化分析过程中,对学习到的知识进行分类,以直观的方式解释所提姿态蒸馏方法提升模型泛化能力的原因。最后,通过实验验证了基于姿态蒸馏的快速人体姿态估计方法的有效性。(3)针对现有人体姿态估计中关节点表示所存在的量化误差问题,提出了分布感知的人体关节点坐标表示方法。首先,分析了热力图回归方法中人体关节点坐标编解码方法的缺陷,找出坐标编解码过程中量化误差问题产生的原因。其次,在关节点坐标编码阶段提出了关节点坐标的无偏编码方法避免模型学习有偏的关节点位置信息。在关节点坐标解码阶段,提出了热力图分布调整方法以及基于泰勒展开的解码方法,通过在热力图中最大激活值位置使用二阶泰勒展开获得最大激活值到精确位置之间的偏移量,获得精确的关节点坐标。相比传统的编解码方法,所提方法为关节点坐标的编解码提供了理论支撑。最后,实验部分从编码和解码两个角度分别验证了所提方法的有效性,在不同模型上带来的显著提升证明了该方法的通用性。(4)针对传统积分姿态回归方法中所存在的优化矛盾问题,提出了基于位置自适应积分姿态回归方法。首先,给出了积分姿态回归方法的基本原理,其次,分析了该方法在热力图回归与坐标回归之间优化矛盾所存在的原因,分析中发现热力图转换为坐标这个过程缺乏可学习参数会使热力图回归和坐标回归出现无法调和的优化矛盾,优化矛盾会导致模型无法获得精确的关节点坐标。然后,基于上述分析将可学习参数引入到Softmax函数中,提出了位置自适应的Softmax模型,将该模型与积分姿态回归方法进行结合,得到位置自适应的积分姿态积分回归方法。为了降低该方法的训练开销,提出了简化的训练策略。作为一种后处理方法,位置自适应积分姿态回归方法可以在不需要对模型重新训练的情况下与现有方法进行结合。最后,为了验证所提方法的有效性与通用性,实验中对位置自适应积分姿态积分回归方法中简化的训练策略、位置自适应Softmax模型分别进行了验证,评估了不同输入输出分辨率以及主干模型下该方法的性能。
其他文献
金融机构如何实施金融精准扶贫,是一个值得思考和实践的课题。本文以黑龙江省为例,通过对地方扶贫开发与金融扶贫现状的分析,阐释地方脱贫需求与金融扶贫政策对接面临的障碍
目的探讨酵母样真菌感染情况及其耐药性,为临床合理使用抗菌药物提供依据。方法采用法国生物梅理埃公司生产的ATB微生物鉴定仪、ID32C真菌鉴定板、ATBFUNGUS3药敏板对临床标
阻塞性睡眠呼吸暂停低通气综合征(obstructive sleep apnea hypopnea syndrome,OSAHS)是一种以慢性间歇性缺氧为主要特征的睡眠呼吸性疾病,临床上常表现为打鼾且鼾声不规律、
超滤(UF)作为一种高效的水处理技术在水处理领域得到了广泛有效的应用,但由于膜污染会限制其应用,因此往往需要与其它工艺联用。混凝-超滤(C-UF)工艺可以显著提高有机物去除
改革是破除体制机制障碍、推动社会经济发展的重要途径。2016年,方正县被确定为全国农村承包土地经营权、农民住房财产权抵押贷款"双试点"县。如何抓住改革试点契机,推进"两权"抵
企业信用档案管理平台,是以为公众提供优质的企业信用档案信息服务为目标而建立的一个智能化管理平台.本文从企业信用档案的概念和特点入手进行研究,分析了新公共服务在构建
近几十年来,随着黄土高原大规模水土保持措施与生态恢复工程的实施,黄河水量沙量锐减,水沙情势巨变。厘清不同时空尺度水沙对变化环境的响应不仅有利于深入理解高度治理下的
<正>目的:探讨RA患者LEF活性代谢产物A771726的浓度-效应及不良反应的关系,从而根据药代动力学的差异指导RA患者合理化个性化用药。方法:多中心、前瞻性、分组对照。将RA患者
会议
低气压容性耦合等离子体(Capacitively Coupled Plasmas,CCP)已经广泛应用于微电子加工工业的材料刻蚀及薄膜沉积工艺中。全世界各地很多的科研机构都在进行相关的理论、实验
饶河口岸是1989年4月8日经国务院批准的国家一类口岸,于1993年9月21日正式对外开放。是内地通往俄罗斯远东地区的重要门户,也是对俄哈巴罗夫斯克地区唯一的陆运和冬季过货的