基于深度学习的单目人体姿态估计研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:lcg_tml
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人体姿态估计是计算机视觉领域的重要研究方向之一,目标是定位出图像中关键点的位置并连接成对应的人体姿态,是行为识别、行人重识别和行人检测等高级视觉任务的基础与前提。近年来深度学习和卷积神经网络的快速发展推动着人体姿态估计的研究,使之在智能监控、人机交互、运动分析等领域有着广泛应用。但是在实际应用中人体姿态估计仍然存在一定的问题和挑战,一方面,复杂场景下人体交互带来的遮挡和姿态扭曲等问题影响模型性能,如何提取有效的空间信息和语义信息是提升关键点定位性能的关键;另一方面,现有的姿态估计方法关注模型精度而忽视了速度与精度之间的平衡,在资源受限情况下无法投入应用。为了解决以上两个问题,本文基于深度学习框架对单目人体姿态估计进行深入研究,从设计高精度网络结构、轻量化模型以及高效网络架构三方面出发,解决人体姿态估计中的研究难点与挑战,主要研究成果如下:(1)在深度学习框架下研究如何设计高精度网络结构来提取更具有鉴别力、表达能力更好的特征,从而提高网络精度。针对现有的高分辨率网络在遮挡、光照、姿态多样性等干扰场景下出现的定位误差和推断错误问题,提出了基于空间和上下文感知的多分辨率人体姿态估计网络。首先利用细节增强模块将浅层特征与输出的高分辨率特征通过残差跳转连接方式进行融合以增强细节信息,然后利用空间自注意力模块计算特征位置间的相关性来获得局部特征的全局依赖关系,最后为低分辨率深层特征设计信息补充模块,以跳转连接和并行空洞卷积分支为深层特征补充空间信息和语义信息来丰富特征表达能力。在COCO验证集上模型的准确率为77.0%,MPII验证集上获得91.0%的准确率。(2)在深度学习框架下研究如何设计轻量级网络来提高模型效率、加快推理速度。针对现有人体姿态估计算法重视模型精度而忽视模型效率的问题,提出了基于特征金字塔结构的轻量化人体姿态估计模型。该模型以Efficient Net V2作为主干网络,设计语义嵌入融合模块和姿态改善模块来构建轻量级网络结构。首先利用子像素卷积替换模型中所有恢复分辨率的最近邻上采样操作,以通道信息来补充空间信息,减少特征信息的损失。再根据浅层特征与深层特征间具有语义差异的问题,设计了语义嵌入融合模块来进行跨尺度特征融合。最后为输出特征设计姿态改善模块,利用空间注意力机制自适应地为输出特征补充重要信息,从而优化关键点定位。无预训练的轻量化模型以减少高精度网络三分之二的参数量和计算量在COCO验证集上取得的准确率为75.1%,在MPII数据集上取得89.8%的准确率。(3)在深度学习框架下研究如何设计高效网络架构,即既具有较高精度又保持轻量化的网络结构。针对轻量化模型保持模型效率却损失一定的模型精度的问题,提出了基于协作学习和目标约束的人体姿态估计网络。首先将经过预处理的数据同时输入到相同的两个轻量化网络中提取特征,然后聚合输出特征生成高质量的软目标(Soft Target),与真值标签(Ground Truth)共同监督各个子网,提升网络预测性能。同时使用目标约束控制关键点定位范围,进一步提高定位精度。无额外性能开销的模型在COCO验证集上取得的准确率为75.5%,在MPII数据集上获得的准确率为90.3%。
其他文献
目的:目前,钛及其合金由于良好的生物相容性及优异的力学性能被广泛应用于临床之中。但钛及其合金也存在其缺点:较高的弹性模量和生物惰性。为了解决以上问题,本文通过3D打印多孔钛支架随后进行熔融镁的无压渗透成功制备了镁钛复合材料。对新型镁钛复合材料的体外降解行为进行研究,并对其在降解过程中的生物学性能进行评价。通过镁离子盐模拟复合材料体外降解过程中镁离子浓度的变化,研究不同镁离子浓度对细胞生物学性能的影
学位
目的:代谢综合征是一类复杂的代谢紊乱症候群,全球患病人口超过总数的四分之一,已成为一个亟待解决的问题。目前病因尚未明确,除个体的不良饮食习惯和不健康生活方式之外,表观遗传因素也是一个重要因素。健康和疾病的父系起源(paternal origins of health and disease,POHa D))理念提出父系的营养和代谢状况对后代的健康和疾病易感性也起着至关重要作用。目前研究发现父系高脂
学位
目的:锰(manganese,Mn)是人体正常发育必需的微量元素,适量的锰对生命是必要的,但过量的锰会对中枢神经系统(central nervous system,CNS)产生毒性,引发一种类似于帕金森病(parkinson’s disease,PD)的综合征。特征之一是运动障碍,主要表现为肌张力障碍、僵直、震颤等,但其具体机制尚不明确。现已证实,在过量锰暴露导致神经紊乱的过程中,表观修饰发挥重要
学位
目的:随着20世纪埃德蒙顿移植方案的提出及不断完善,胰岛移植治疗1型糖尿病已逐渐成熟并有望于临床广泛开展。胰岛移植是通过将同种或异种胰岛细胞移植入受体体内,增加受体胰岛细胞数量,达到增加胰岛素释放效果。它具有手术操作简单、安全性高、并发症少、可重复进行等优点,是近年来1型糖尿病治疗研究热点。在临床实际应用过程中,90%的治疗方案都是将胰岛通过受体门静脉系统输注,这种方式存在明显不足:胰岛直接暴露于
学位
目的:妊娠期高血糖患者缺乏血糖评估的有效手段,而末梢血自我血糖监测(self-monitoring of blood glucose,SMBG)和糖化白蛋白(glycated albumin,GA)均是临床中常用的评估参数。本研究拟探讨患者SMBG与同时期血清GA水平之间是否具有相关关系,GA能否成为评估妊娠期高血糖患者平均血糖的血清学指标。研究方法:选取2019年12月到2022年1月于某三甲医
学位
目的:建立联合定量参数诊断模型对肿大纵隔淋巴结进行良恶性的鉴别诊断。方法:回顾性分析我院2016年1月至2018年1月,X线计算机体层摄影术(Computed Tomography,CT)表现为纵隔淋巴结(mediastinal lymph node,MLN)肿大且最终取得活检病理结果的患者143例,淋巴结226个,其中良性94个,恶性132个。勾画病灶并进行三维定量测量,得到淋巴结的长径、短径、
学位
基因调控网络系统是系统生物学范畴内的一类非线性系统,在工业、生物以及医药领域有极其重要的应用。基因调控网络系统通常可以通过微分方程描述其基因转录的动态过程。然而,目前针对基因调控网络系统的控制往往以连续状态反馈控制为主,控制效率比较低,本文考虑了事件触发控制策略,以提高控制效率,减少通信负担和控制能量损耗。本文针对基因调控网络系统,在状态完全可测的条件下,基于Lyapunov函数包络思想提出边界事
学位
研究目的:溃疡性结肠炎(UC)可严重影响患者的生活质量。目前UC的发病机制尚不清楚,可能与多种因素相互作用有关,其中涉及过氧化物酶体增殖物激活受体γ(PPAR-γ),免疫细胞,细胞因子及其受体的复杂网络。长期使用现有药物治疗UC成本过高,副作用较多。因此,寻找新治疗药物势在必行。芬维A胺(4-HPR)是一种合成的类视黄醇,具有毒副作用低及体内组织分布好的特点。研究表明,4-HPR具有抗炎作用,可调
学位
<正>中办、国办印发的《关于进一步深化税收征管改革的意见》中提出“建立健全以‘信用+风险’为基础的新型监管机制”,这无疑是一次税收监管方式的重大变革,是实现从无差别管理向信用与风险管理、经验管理向大数据管理转变的关键举措,能大幅提高税法遵从度和社会满意度,明显降低征纳成本,充分发挥税收在国家治理中的基础性、支柱性、保障性作用,
期刊
目的:探究低电压区对房颤射频消融术后复发的影响,分析基本临床资料、超声参数、心电图参数和血液化验指标对低电压区的预测价值。方法:纳入了于2020年8月至2021年6月在中国医科大学第一附属医院行房颤射频消融术的患者。所有患者在入院后完善了采血化验、经胸心脏超声、经食道超声心动图以及动态心电图检查。手术过程中通过电压标测得到每位患者的低电压区面积以及低电压区占总心房面积的百分比。患者出院后定期接受门
学位