基于帧级特征约束的三维人体姿态和形状估计算法研究与实现

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:itshuai
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
从视频估计人体3D运动姿态和形状是计算机视觉和图形领域的一项具有挑战性的任务,准确且时间一致的人体建模对于一些广泛的应用至关重要,包括角色动画、理解人类社会行为和AR/VR界面。从单目视频序列中准确捕捉人体运动仍然具有挑战性,并且捕捉到的人体运动的时间一致性对建模质量有很大的影响。当试图从一系列视频图像中定位人体姿态的3D参数时,由于背景变化、摄像机移动和灯光变化,人体的姿势和形状往往会随着时间的推移发生剧烈的变化。目前大多数基于视频的姿态和形状估计方法通常将视频中的一组图像序列特征输入到一个基于单图像的3D人体姿态和形状估计网络中,获得一组静态特征,然后所有的静态特征通过特定的时间编码器输出包含前一帧和后一帧信息合并的潜在变量,最后,利用人体参数回归模型得到人体的姿态、形状和相机参数。虽然这些工作已经发展到通过让模型预测帧的顺序来增强时间平滑,但很难在光滑性和准确性之间找到一个平衡,并且现有方法主要依赖于递归或者卷积运算直接来建模人体的全局信息,限制了对人体运动局部信息的捕捉,这导致人体的空间结构在极端姿态情况下容易被忽视。本文针对上述问题提出了新的基于深度学习的三维人体姿态和形状估计模型以解决在极端条件下的光滑性和准确性之间的不平衡。论文的主要工作如下:1.为了让模型重点关注视频对象不同粒度标记之间有意义的详细时序特征,并减少当前静态帧的支配,本文提出了一种基于帧级特征标记化的3D人体形状和姿态估计方法,利用了多粒度标记信息和注意力机制控制静态特征对时序特征的影响,使时序编码器能够准确、有效地预测相邻帧间的平滑度,从视频中生成平滑、准确的三维人体运动,增强时间信息的一致性和预测的准确性。2.为了在无约束环境下进行人体姿态和形状估计时,出现极端姿态导致的人体不可信表达和极端的人体形变问题,本文设计了关系结构推理网络(Relational Structure Inference Network,RSIN)用人体姿态先验来学习人体不同身体部位之间的结构约束关系。结构关系可以用来建立长、短距离的空间依赖关系,从而增强对各种极端姿态的鲁棒性。此外,为了改善静态特征和时序特征之间的不平衡,保持全局静态特征和时序特征的信息交互,同时避免静态特征对时序一致性的不利影响。本文设计了 一个信息交互模块(Information Interaction Module,IIM),用跨域注意力和空间注意力来实现静态特征和时序特征之间的交互,以此来让网络输出保留原始静态特征中单帧准确度的同时,也充分提取到帧间时序信息的一致性。3.搭建并实现一个三维人体姿态和形状估计系统,GUI界面采用HTML和JaveScript,使本文提出的算法可以在Web平台进行应用,可实现任意视频的三维人体姿态和形状重建并进行可视化。
其他文献
用电安全一直是一个被持续关注的话题,电气设备引发的火灾的连年占据火灾起因首位,而在电气火灾里因故障电弧而引起的火灾也是占据了大部分。人们日常生活中的漏电保护装置对于电弧方面的防护不能做到全面有效,因此导致故障电弧在电气火灾发生中占据首要原因,关于故障电弧检测方法的研究对于用电安全方面有着十分重要价值及意义。本文的主要研究对象为串联故障电弧,论文的主要内容以及为:介绍了电弧的基本理论概念以及故障电弧
学位
由于我国对基础设施建设的不断推进,公路交通也在逐年稳步发展,逐渐形成了庞大的路网体系。与之相伴的便是越来越多的公路养护问题。快速而准确检测出道路的伤病损害目标,可以帮助路政部门或者相关道路养护机构及时对路面进行修复,从而保障我国道路交通安全。本文针对智能手机拍摄的道路病害图片进行检测,并对如何提高复杂背景下多类别、多尺度道路病害检测精度进行了研究,具体如下。首先,为了得到适用于我国道路路面病害检测
学位
随着高速铁路的不断建设,目前我国运输的主要方式之一仍旧是铁路运输,但铁路的长期高负荷运行,铁轨难免会出现裂纹等缺陷现象,严重的甚至会影响铁路交通的安全运行。目前我国对铁轨的检测仍旧处于人工巡检阶段,效率较低,误检、错检率较高,不能满足当下需求。因此迫切需要一种可靠性强、准确率较高的方法来对铁轨表面裂纹进行检测。本文针对铁轨表面裂纹检测问题,通过分析现有目标检测算法在铁轨裂纹识别中存在的不足,对原Y
学位
BN纳米单层,一种蜂窝状二维纳米材料,由于其质量轻、比表面积大、耐热、抗氧化性强等诸多优异性能,在新兴纳米材料领域受到广泛关注。本文基于密度泛函理论框架下的第一性原理计算方法,系统地研究了完整BN纳米单层、缺陷BN纳米单层和金属修饰缺陷BN纳米单层的结构、电子特性和储氢性能。主要得到以下结果:(1)系统地研究了完整和缺陷BN纳米单层的结构和电子特性。研究结果表明,完整BN纳米单层为无磁性宽带隙半导
学位
近年来,计算机视觉算法在户外视觉系统得到了快速发展。然而,在各种户外视觉系统应用场景中,恶劣天气常常会降低拍摄图像质量,影响系统性能。下雨是最频繁的恶劣天气之一,雨纹、雨滴或雨雾会导致获取的图像背景被遮挡或模糊不清,严重影响了户外视觉系统的应用和相关图像处理算法的性能。因此,检测和去除图像中的雨纹、雨滴或雨雾是计算机底层视觉任务亟待解决的重要问题,对目标检测识别、分割和监控等高级视觉技术的提高具有
学位
随着“双碳”目标的确立,构建以新能源为主体的新型电力系统已经成为能源行业的重要发展方向。作为现阶段发展速度最快、应用最为广泛的清洁能源技术之一,光伏发电必将获得更为广阔的发展空间。作为发展大规模光伏发电产业具有特殊优势的荒漠化地区,大气气溶胶浓度高,大量小颗粒物会沉积在光伏板表面,严重影响光伏系统的正常运行,甚至影响其使用寿命。同时,这类地区夏季辐射强、光伏板温度过高,给光伏发电带来了一定的负面影
学位
碳纳米管的发现和石墨烯的合成标志着低维维材料正式问世。相比于块状材料,其具有独特的结构特征和优良的物理特性,已经引起研究人员广泛的关注。随着越来越多的二维材料在实验上成功合成,第一性原理计算为二维材料的探索和预测提供了理论基础。其中,Ⅲ-Ⅴ(Ⅵ)族化合物材料性质优异,可以广泛地应用到电子器件、光电探测、太阳能和催化等领域。因此,在设计微纳米光电器件时,探究低维纳米材料的光电性质十分关键。基于密度泛
学位
Ⅲ-Ⅴ族窄带隙半导体GaSb以其优异的光电性能在红外探测和热光伏电池等领域有着广阔的应用前景。然而受本征材料的禁带宽度限制,GaSb半导体的光谱响应范围较小,带隙尽可能低的GaSb可应用于低频波段相关的光学器件中。本文用第一性原理方法实施研究,主要研究了应变及4d过渡族金属(Transition Metal,TM,本文中TM=Ru、Rh、Pd)掺杂对GaSb电子结构和光学性质的影响,通过能带结构和
学位
自20世纪初,金属与电介质相邻界面上的表面等离激元(SPP)引起学者普遍关注。Ebbesen团队于1998发现了金属亚波长孔阵列上出现的异常光学透射(EOT)现象,并用SPP解释该现象的物理机理,此后SPP的研究备受研究者青睐。异常透射除了有较多的应用潜能外,还存在诸多,甚至相互矛盾的物理成因解释,因此亚波长孔阵列出现的异常透射现象成为研究热点。到目前为止,关于促成异常透射现象的物理机制,被广泛认
学位
钠离子电池因与锂离子电池有着相似的工作原理而备受各界关注。作为钠离子电池的重要功能组成部分,正极材料是决定钠离子电池整体性能的关键因素之一。在众多正极材料中,P2型层状锰基氧化物因具有理论比容量大、结构稳定性高和毒性低等优点成为最具应用前景的钠离子电池正极材料之一。然而,在Na+脱出/嵌入过程中,Jahn-Teller效应、多相不可逆转变、电解液分解等问题,导致晶体结构稳定性和电化学性能严重恶化。
学位