基于上下文的3D人体姿态估计方法

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:duanxinyu0056
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度歧义一直是阻碍3D人体姿态估计实际应用的重要挑战。随着神经网络的引入,3D姿态估计的性能长足发展,对上下文提取方法的改进则是研究热点之一。但是,目前仍存在以下问题影响深度歧义的缓解效果:其一,主流研究将二维视觉任务的上下文提取方法迁移到3D姿态估计,但人体的纹理边缘等显著特征与关键点深度的联系较弱,3D姿态估计对噪声更敏感;其二,姿态多样性要求上下文提取方法具备强大的姿态迁移性能,研究者针对性地提出多阶段估计和优化,但仅根据人体物理约束或局部语义约束,很难应对关键点偏移和缺失等问题;其三,关键点相对深度和绝对深度是异质的,绝对深度描述了关键点与摄像平面的距离,单纯依赖人体上下文无法缓解绝对深度的歧义性。针对上述问题,本文首先研究从图像估计3D姿态的噪声抑制方法;进而探索更合适的人体约束,分阶段优化3D姿态估计;最后综合图像空间和鸟瞰空间的优势,促成人体上下文和场景上下文融合。研究内容分别从噪声、姿态多样性和关键点深度异质性三个角度缓解深度歧义,联合构成一种高效的多人3D姿态估计网络。具体如下:通过分析从图像提取人体上下文过程中的随机噪声和认知噪声,提出噪声抑制的人体姿态估计网络,包括关键点区域提议模块和姿态感知的稀疏关系模块。前者通过显式限定图像中关键点的显著区域过滤随机噪声,后者通过模拟噪声传播和关键点交互判断关键点关系的有效性,抑制认知噪声。通过互信息分析关键点间的物理和语义约束,提出联合静动态关系的3D人体姿态估计方法:基于互信息分组和分级人体关键点;设计级联估计及多分支特征共享网络关联物理相关的关键点,设计多分支注意力机制从全局特征感知关键点分组间的姿态语义,分别建模静、动态关键点关系;姿态语义约束容易受到类别不平衡问题干扰,为此进一步提出类别平衡的姿态重组方法,均衡模型对各类姿态的关注度。通过对比图像空间和鸟瞰空间的特点,提出动态鸟瞰特征提取方法,在鸟瞰空间中提取场景上下文估计关键点的绝对深度。鉴于鸟瞰空间凸显了人体在场景中的位置,但牺牲了人体高度等实例信息,该方法从图像空间动态生成卷积权重,促成两种空间优势互补。
其他文献
随着工业社会的不断发展,温室效应以及能源危机成为了亟待解决的问题,人类急需寻找一种新的可持续能源。光电化学分解水制氢,将氢能源储存并加以利用,是一种解决目前能源问题的有效方法。目前,产氧半反应还是光电化学分解水反应的速控步骤,所以构筑高效、稳定的光阳极对整体光电化学分解水反应是具有决定性作用的。α-Fe2O3因其储量丰富,能带结构优异,理论光电流高(12.5m A/cm~2),被认为是光电化学水氧
学位
MRI图像配准是肿瘤患者整个放射治疗过程中的一个关键环节,该环节旨在将患者接受放射治疗前后两个时期的MRI进行图像配准。医生使用配准好的MRI与放疗后的MRI进行叠加对比,根据对比结果得到患者放射治疗的效果评估,而放疗效果的评估是医生对患者进行下一步医疗决策的基础依据。近年来图像配准的研究已经日益成熟,并从迭代优化的传统配准方法逐步发展到基于神经网络的配准方法。这些方法都是基于单视图数据获取图像间
学位
CBCT生成伪CT任务是实现自适应放射治疗的关键步骤,旨在利用合成的伪CT进行剂量计算,及时修正、调整放射治疗计划。与CT相比,CBCT具有成像快、效率高且辐射剂量相对低的特点,对患者的身体额外损伤程度较小,但CBCT无可靠的电子密度,无法直接提供剂量计算,因此将CBCT合成伪CT在自适应放射治疗中是有必要的。CBCT生成伪CT任务最常用的方法是循环一致性生成对抗网络(Cycle GAN)以及基于
学位
光热治疗是利用外部光源照射光热材料,将光能转化为热能,来抑制细菌生长或是杀死肿瘤细胞的一种治疗方法。近些年,多种金属氧化物和金属硫化物已经被成功地用于光热治疗,它们具有高光热转化效率、优异的光热稳定性、价格低廉以及易合成的优点。SnS2是一种典型的金属硫族半导体,具有六方Cd I2型晶体结构,带隙约为2.2 e V。由于SnS2具有优异的可见光吸收能力,它可以作为可见光驱动的光催化剂,然而,SnS
学位
由于环境敏感性聚合物具有独特的物理和化学特性而被广泛应用,但目前对该聚合物的相行为机制的研究不够深入。基于前期有研究者使用聚丙二醇二缩水甘油醚(PPGDGE)、聚乙二醇二缩水甘油醚(PEGDGE)和乙醇胺(MEA)为主要单体,通过一锅法制备无规共聚物。该聚合物溶液的相变温度过高,不利于后续的研究与应用。因此在这基础上,设计新的合成路线,调整实验配料比,制备出性能良好的环境敏感性聚合物。本实验采用分
学位
磁流变液(MRF)是一种磁响应型智能材料,具有良好的力学性质和可调节性,广泛应用于许多领域。羰基铁(CI)因其饱和磁化强度高,价格低廉成为MRF的首选材料,但CI密度较大,沉降问题严重,商业化应用受限。提高CI基MRF沉降稳定性以及探索沉降稳定性高且磁流变性能优异的其他替代材料成为当前研究重点。各种提高稳定性的方法(如涂层技术、添加剂等)会使磁流变性减弱,同时相应的工艺复杂,成本较高,限制其发展应
学位
表面辅助激光解吸/电离质谱(surface-assisted laser desorption/ionization mass spectrometry,SALDI-MS)是一种软电离分析技术,适用于小分子的痕量分析。为了提高SALDI-MS检测小分子的性能,已经探索了多种基底,包括半导体、碳、金属和复合材料。其中,硅基材料具有独特的光学、电学以及表面化学性质,可以被加工成各种形态可控的结构,且其
学位
氢能是一种高效清洁的二次能源,在实现“碳中和”目标中起重要作用。硫碘循环被认为是未来实现大规模制氢的可行方法,面临的难题之一在于Bunsen反应产物(H2SO4/HI)难以分离,影响下一步反应进行。直接电解Bunsen反应产物是实现H2SO4和HI分离的有效方案,H2SO4/HI作为阳极电解液析出碘单质,H2SO4水溶液作为阴极电解液产生氢气。直接电解Bunsen反应产物的制氢方法既能解决硫碘循环
学位
SLAM是一项机器人通过传感器实现自身定位的同时构建出环境地图的技术,被广泛用于导航、自动驾驶等视觉任务中。视觉SLAM由于传感器成本低这一优势而被关注,目前已经有比较深入的研究。然而,传统的视觉SLAM方法在某些场景下的表现仍不能满足实际需求。其一,传统SLAM方法基于场景静态假设,真实场景中不可避免会存在动态物体,当动态物体占据图像一定比例时,会对定位产生负面影响,导致精度变低甚至系统失效。当
学位
深度知识迁移指的是在深度学习中引入人类知识迁移的学习思维,借助辅助域或任务的知识改善目标域或任务的表现。研究深度知识迁移的一个重要意义在于搭建复杂深度学习研究和落地应用之间的桥梁。具体来说,大量的训练数据和复杂精细的神经网络设计是深度学习近年来取得重大进展的两个关键因素。然而在实际应用中,受限于人力、设备等资源成本,深度学习的部署往往将面临训练数据少和部署资源受限两个问题。深度知识迁移,利用大数据
学位