二维人体姿态估计的约束优化与轻量级设计

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:hbsheng111
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计任务是计算机视觉领域的一个研究热点,首先需要检测出图像中人体不同部位的关键点,然后再估计出人体姿态。随着对深度学习特别是对深度卷积神经网络研究的深入,基于深度卷积神经网络的二维人体姿态估计取得了极大进展,目前基于深度卷积神经网络的姿态估计方法已经成为人体姿态估计的主流方法。尽管人体姿态估计方法取得了较高的精度,但是仍存在一些优化改进空间。首先,大多数现有的基于深度卷积神经网络的二维人体姿态估计方法仅通过均方误差损失函数来约束输出的热力图,训练过程中并未直接使用标签热力图符合高斯分布这一先验,而这是有效提升模型精度的一个关键途径。再者,为了提升二维人体姿态估计方法运行的效率,降低计算量和参数规模,使之能够部署到移动或嵌入式设备中,人体姿态估计模型的轻量化也是一个研究热点。最后,由于为了降低计算量,姿态估计方法处理图像时通常需要降低其分辨率,导致原始图像和热力图分辨率不一致,使得基于热力图的最大激活关键点坐标解码方法存在系统性的亚像素误差问题,因此需要设计更优的解码方法以提升估计效果。针对基于深度卷积神经网络的二维人体姿态估计方法,本文进行了如下研究:1、利用“标签热力图符合高斯分布”这一先验,本文提出了一种通用的高斯强约束模块用于提升姿态估计的精度。所提出的高斯强约束模块可以方便地集成到主流的二维人体姿态估计模型中,在模型的训练过程、推理过程均发挥强约束作用,实现了基于深度卷积神经网络的二维人体姿态估计方法的端到端优化,提升网络输出热力图的准确性。“标签热力图符合高斯分布”这一先验在先前的大多数的基于深度卷积神经网络的二维人体姿态估计方法中也被充分认可,而且在计算损失函数为网络训练提供梯度时使用。本文提出的强约束模块强化了这一先验在训练和推理过程中的约束力,使得获得的模型更加符合期望。通过在三个主流的基于深度卷积神经网络的二维人体姿态方法上进行实验验证,可以发现,在几乎不提升模型参数量和计算量的情况下,所提出的高斯强约束模型均获得了有竞争力的性能提升。2、为了降低模型规模实现轻量化网络的设计,参考沙漏网络的结构,本文将传统的基于深度卷积神经网络的二维人体姿态估计方法中的标准卷积替换成可分离卷积,在保证精度的条件下,极大地降低了模型的参数量和计算量。另外,在模型结构设计中引入通道注意力机制,增强了网络的特征提取能力。同时,对估计难度较高的姿态估计所需的身体部位关键点实施了重估计,提升了复杂关键点的估计准确性。并且将知识蒸馏作为模型训练策略,在有效降低模型规模的同时,还可以缓解模型规模降低导致的精度下降。最后,由于轻量级网络输出的热力图分辨率一般远小于原始图像,关键点解码中存在着明显的亚像素误差,本文提出了一种基于高斯概率期望的关键点解码方法。实验结果表明,本文设计的轻量级人体姿态估计网络,因其经过了系统全面的优化,取得了具有竞争力的效果。
其他文献
为适应伴随科技进步而日趋复杂的电磁环境,无线通信系统在朝着多频段、多功能的方向发展。人工电磁材料通常被应用在无线通信系统中,为了满足无线通信系统的需求,其正朝着在一种单元结构中集成多种功能的方向发展,其中最受关注的两个方向是可重构和多频人工电磁材料的研究。可重构人工电磁材料可以将多种功能集成在一种单元中,在不同的状态实现不同的功能,但目前仍存在偏置电路设计复杂、工作带宽窄和调谐带宽窄等问题。频率选
学位
飞机目标检测是遥感图像解译的一个重要分支,飞机在交通运输领域以及军事作战领域都有重要的应用,对其准确的位置与不同型号实现快速、高效的检测与识别具有重要的意义。本文针对高分辨光学遥感图像飞机检测任务中的复杂场景以及细粒度识别中的长尾问题和噪声标签问题,以自然图像经典单阶段目标检测算法做为基础,出了基于深度神经网络的光学遥感图像飞机目标检测与细粒度识别方法;并结合遥感图像解译的应用场景,针对性地升遥感
学位
电磁超表面是一种能对电磁波幅度、相位、极化等特性进行自由调控的新型人工电磁材料,被广泛应用在民用无线通信和军事领域中。在过去的几十年间,电磁超表面取得了巨大的发展,高性能、小型化超表面不断被发掘和更新,但随着多功能、智能化设备的发展,单一功能、无法动态调控以及窄频带特性是目前电磁超表面设计面临的主要问题之一,这极大地限制了电磁超表面在天线隐身设计、天线波束调控等方面的应用。因此,本文以基于可重构技
学位
遥感影像的解译研究一直都是卫星应用领域的重要课题。深度学习及深度卷积网络在计算机视觉领域取得巨大进展的同时,也为遥感影像的分类与识别提供了新的思路与方法。然而,神经网络由数据驱动,需要从大量样本中学习相应特征,因此,样本集的优劣很大程度上决定了神经网络的性能。然而,对于遥感数据来说,其可用于训练的样本数量很少,虽然有前期的积累,但现存遥感数据集丰富性和多样性都不够充分,一定程度上限制了现有算法在遥
学位
随着电磁技术的发展,高频电磁仿真已经越来越广泛的应用在各个领域。对于物体电磁散射特性的分析已经成为了计算电磁学的重要研究方向之一。随着电磁波频率升高,物体电尺寸变大,使用传统的全波算法进行计算时,会占用大量的内存和计算时间。高频渐进方法的出现,使得快速预估目标的散射特性成为可能。因此,如何利用高频近似方法快速预估复杂目标的电磁散射特性成为了当前研究的热点问题之一。本文采用物理光学法对电磁目标的散射
学位
目标检测作为计算机视觉最基本的问题之一,是其它复杂视觉任务的基础。近年来,深度学习技术和硬件资源的快速发展推动了目标检测技术的发展和检测精度的大幅提升。但在实际应用中,深度网络模型几十甚至上百层的网络结构,包含了大量的参数和浮点计算量,需要极大的存储空间和运行空间,往往难以部署在资源有限的设备上进行实时检测。为了将目标检测模型能从服务器迁移到移动端投入使用,需要将模型进行轻量化处理,本文进行了如下
学位
高光谱遥感技术发展至今,已经成为了农业、军事、工业生产等多个领域中不可或缺的一项重要技术。对高光谱图像中的像素进行分类是高光谱遥感数据在实际应用中最为广泛的需求。以深度学习为代表的高光谱图像分类方法被大量提出,基于充足的标注数据,这些方法在分类性能上取得了显著的成效。然而,目前高光谱图像处理面临的主要问题是难以获得大量精准标注的样本来充分训练深度网络,数据问题已经成为限制分类性能的瓶颈。同时,高光
学位
近年来,深度神经网络技术在计算机视觉、机器翻译、推荐系统等领域中取得了突破性的进展。然而,巨大的内存消耗和计算成本阻碍了神经网络在移动端智能设备上的大规模部署和应用。因此,模型压缩技术应运而生,其通过压缩网络模型的参数量和计算量来提高模型在资源受限环境中的推理效率。本文主要在卷积神经网络的量化感知训练、训练后量化以及稀疏感知训练领域,以训练代价更低、量化精度更高和泛化能力更强为目标开展研究,主要工
学位
得益于数据规模的不断扩大和人工智能算法的不断创新,医学图像的自动报告生成近年来引起了人们的兴趣。然而识别疾病及其预测其对应的大小、位置和其他医学描述模式,对于生成高质量的报告至关重要,这是一项挑战。尽管之前的方法侧重于生成可读的报告,但图像的视觉特征与语义特征之间仍存在着“语义鸿沟”问题。本文围绕目前主流的基于深度学习的生成医学图像报告的方法展开研究,使用内窥镜医学图像数据,提出了适用于多模态的医
学位
目标检测是计算机视觉领域的热点和核心问题之一,其目的是在一幅图像中寻找特定的目标,然后对目标进行精确的定位和分类。它是分析和解译视觉信号的重要基础,已被广泛应用于工业质检、视频监控和无人驾驶等众多领域。近年来,目标检测的研究取得了一系列进展,然而图像目标检测算法仍然面临着许多挑战。本文从提升目标检测性能的三个不同角度出发,使得定位更加准确,分类更加精确,模型更加轻量。首先,本文从目标检测中的定位角
学位