论文部分内容阅读
人体姿态估计是计算机视觉中的热点研究方向。由于图像受到拍摄角度、光照、周围环境等因素的影响,早期基于手工特征的人体姿态估计方法一直无法获得比较满意的性能。随着深度学习特别是卷积神经网络相关研究的深入,基于卷积神经网络的人体姿态估计取得了显著进步,使用卷积神经网络学习特征表示替代传统手工特征能够实现端到端的优化,当前基于卷积神经网络的方法已经成为了人体姿态估计中的主流方法。虽然基于卷积神经网络的人体姿态估计方法取得了较大的进展,但是在实际应用中,基于卷积神经网络的人体姿态估计方法仍然面临一些现实问题。一方面,目前现有的研究主要关注如何提升人体姿态估计方法的精度却忽视了模型在精度与速度之间的平衡,但这却是实现高效人体姿态估计的关键。另一方面,先前的方法并未意识到量化误差与优化矛盾问题在人体姿态估计中的重要性,而这是实现高精度人体姿态估计的关键问题。为了解决这两个核心问题,本文分别从高效网络架构设计、轻量级模型训练策略以及高精度定位这三个角度展开研究工作。本文的主要工作及贡献如下:(1)针对现有人体姿态估计网络架构在设计时未考虑模型的效率问题,提出了一种基于层次上下文学习的高效人体姿态估计网络架构。首先研究了人类视觉感知中的前置注意加工机制,然后将该机制融入到网络架构的设计思想中,提出了一种多阶段的层次上下文网络。整个网络由若干上下文阶段与一个预测阶段构成,网络中各个阶段的子网络由阶段间共享的低层特征提取模块、主干网络、上下文导入模块以及中间上下文学习模块所构成。阶段间共享的低层特征提取模块负责提取各个子网络所需要的低层特征,上下文导入模块将提取到的低层特征以及前一阶段子网络所输出的上下文信息导入到当前子网络中,每个子网络都会收到来自中间上下文学习模块的监督信息。在整个网络架构中子网络的输入由低分辨率逐渐过渡到高分辨,各个子网络中的主干网络使用不同复杂度的模型,低分辨率输入的子网络负责关节点快速的初步定位,只需要简单的模型,而高分辨率输入的子网络负责关节点高精度精细化定位,需要复杂的模型。这种设计能够在不降低模型精度的前提下保证模型的效率。最后,实验验证了层次上下文网络架构在效率与精度方面的优势。(2)针对现有研究中缺乏通用的模型轻量化方法以及轻量级模型会面临的性能退化问题,提出了基于姿态蒸馏的快速人体姿态估计方法。首先,以堆叠沙漏网络为例探究了主流人体姿态估计模型的冗余性,提出了一种通用的模型轻量化方法,减少了人体姿态估计模型的参数量与计算开销。其次,轻量级人体姿态估计模型虽然具有较低参数量与计算开销,但模型的泛化能力也同时发生了退化,为了提升轻量级人体姿态估计模型的泛化能力,将知识蒸馏思想引入至人体姿态估计领域并设计了一种适用于人体姿态估计的蒸馏方法以将重量级网络中所学习到的知识迁移到轻量级网络中并对蒸馏过程中所学习到的知识进行可视化分析。在可视化分析过程中,对学习到的知识进行分类,以直观的方式解释所提姿态蒸馏方法提升模型泛化能力的原因。最后,通过实验验证了基于姿态蒸馏的快速人体姿态估计方法的有效性。(3)针对现有人体姿态估计中关节点表示所存在的量化误差问题,提出了分布感知的人体关节点坐标表示方法。首先,分析了热力图回归方法中人体关节点坐标编解码方法的缺陷,找出坐标编解码过程中量化误差问题产生的原因。其次,在关节点坐标编码阶段提出了关节点坐标的无偏编码方法避免模型学习有偏的关节点位置信息。在关节点坐标解码阶段,提出了热力图分布调整方法以及基于泰勒展开的解码方法,通过在热力图中最大激活值位置使用二阶泰勒展开获得最大激活值到精确位置之间的偏移量,获得精确的关节点坐标。相比传统的编解码方法,所提方法为关节点坐标的编解码提供了理论支撑。最后,实验部分从编码和解码两个角度分别验证了所提方法的有效性,在不同模型上带来的显著提升证明了该方法的通用性。(4)针对传统积分姿态回归方法中所存在的优化矛盾问题,提出了基于位置自适应积分姿态回归方法。首先,给出了积分姿态回归方法的基本原理,其次,分析了该方法在热力图回归与坐标回归之间优化矛盾所存在的原因,分析中发现热力图转换为坐标这个过程缺乏可学习参数会使热力图回归和坐标回归出现无法调和的优化矛盾,优化矛盾会导致模型无法获得精确的关节点坐标。然后,基于上述分析将可学习参数引入到Softmax函数中,提出了位置自适应的Softmax模型,将该模型与积分姿态回归方法进行结合,得到位置自适应的积分姿态积分回归方法。为了降低该方法的训练开销,提出了简化的训练策略。作为一种后处理方法,位置自适应积分姿态回归方法可以在不需要对模型重新训练的情况下与现有方法进行结合。最后,为了验证所提方法的有效性与通用性,实验中对位置自适应积分姿态积分回归方法中简化的训练策略、位置自适应Softmax模型分别进行了验证,评估了不同输入输出分辨率以及主干模型下该方法的性能。