基于深度图像序列的三维人体形状和姿态估计

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:songsdfasdf
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人体形状和姿态估计是计算机视觉领域研究人体行为的重要方式。近年来,随着深度学习和计算机视觉的不断融合,基于深度学习的三维人体姿态估计方法也得到了广泛的关注与研究。三维人体姿态估计主要研究根据输入图片估计出对应人体姿态,尽管目前三维人体姿态估计方法已经取得了长足的进步,但其仍面临着一些严峻的挑战。首先,目前大多数三维人体姿态估计方法都使用RGB图像作为输入,但由于RGB图像缺少空间信息,导致从RGB图像恢复三维人体本身是个不适定(ill-posed)问题。其次,三维人体姿态数据集较为稀少,且标注较为困难,给深度神经网络的训练带来了麻烦。此外,目前绝大多数基于参数模型的方法都仅能恢复人体姿态和形状,而忽视了人体表面的细节。最后,如何提高序列姿态估计结果的稳定性也是三维人体姿态估计领域的一个重要课题。本文针对三维人体姿态估计方法的以上现状进行了探索,主要工作如下。(1)提出了一种基于深度图像的三维人体姿态估计方法。该方法使用带有空间信息的深度图像代替RGB图像,解决了网络输入缺少空间信息的问题。本方法通过三维人体关节估计网络显式地为网络提供人体姿势信息,并使用空间注意力特征提取器对原始特征进行优化,通过使用人体模型参数回归网络回归人体姿态参数。本方法使用合成数据进行训练,并提出了一种基于弱监督的网络微调方法,提高了网络在真实数据上的表现,从而缓解了三维人体姿态数据集缺失的问题。实验结果表明,本方法在SURREAL,Human3.6M,DFAUST数据集上相较于对比方法取得了更好的人体姿态估计性能。(2)提出了一种基于深度图像的三维人体姿态细节估计方法。该方法将人体参数估计任务进行分解,网络通过三维人体关节估计网络和稠密对应关系估计网络为网络显式地提取人体姿态信息,使用形状参数估计网络和姿势参数估计网络分别估计形状参数和姿势参数。为了恢复人体表面细节,本方法使用人体细节估计网络估计人体参数模型和人体细节模型之间的残差,并将该残差以UV图谱的形式表示。在SURREAL,Human3.6M,DFAUST数据集的测试结果表明,本方法提升了人体姿态估计的性能。同时,本方法在CAPE数据集上取得了较好的人体表面细节恢复性能。(3)提出了一种基于几何约束的序列三维人体姿态估计方法。该方法基于人体运动时的几何特性提出了三维人体骨架约束、三维人体形状参数约束和三维人体模型顶点约束,通过在网络的序列输出上进行约束,有效地提高了网络在序列输出上的稳定性和平滑性。实验表明,使用几何约束训练后的网络在形状参数的稳定性和人体姿势的平滑性上都有显著地提高。
其他文献
机械制造行业常将长径比大于5的孔称为“深孔”,由于深孔加工刀具大多细长,刚性较差,而同时深孔加工过程中刀具受力较浅孔加工更为复杂,因此会发生严重的轴线偏斜,极大制约着深孔直线精度。本文针对某乘用车变速器轴齿件上一直径27.1mm,长度443mm,长径比16.3的深长孔加工,结合现有轴线纠偏理论,对中小直径深孔轴线偏斜的控制方案进行了研究。首先分析了引起深孔轴线偏斜的因素及其作用机理,建立了相应的钻
钠离子电池影响其实际应用的最大障碍在于,传统锂离子电池中的石墨负极在钠离子电池中性能表现不佳。而醚类钠离子电解液使石墨负极得以实现,它利用共嵌入的模式使得石墨负极在钠离子电池中得以应用。但是醚类电解液在钠离子正极中表现了较低的氧化电位与循环稳定性,电解液在正极高电位容易氧化分解,增加电解液的不可逆反应。为了解决这个问题,本文利用添加硝酸钠提升电解液氧化电位,此方法较为简单且成本低廉,这对钠离子全电
由于汽车工业的飞速发展和对节能减排的需求,汽车铝合金制件以优越的性能正在逐步的取代钢铁制件。以铝合金的半固态流变挤压铸造工艺代替其他制造工艺,可以在做到效率与成本有效平衡的同时,大幅度地提升制件产品的质量。但是,该工艺在国内还处于实验研究到实际生产的过渡阶段,尚不能达到高性能零件的大规模生产。本文将轮毂作为典型汽车结构件,以Al Si7Mg铝合金为研究对象,结合数值模拟和试验验证对其流变挤压铸造成
纳米材料由于具有尺度上的独特优势,被广泛应用于医药、催化、传感等各个领域。本文利用不同类型的功能纳米材料构建了两种不同类型的荧光传感器,用于特定目标物的检测,探索了纳米材料的参与的荧光生物传感器传感的设计、构建和应用。首先,以具有发光功能的纳米金属材料——银纳米簇作为传感器的信号发生器,利用银纳米簇对DNA模板序列和结构的依赖和特异性适配体,建立灵敏的三磷酸腺苷(ATP)传感器。ATP作为人体内重
无人车系统可应用于侦察、巡逻、运输等任务,对民用领域的生产方式和在军用领域的作战方式具有革命意义。随着激光雷达传感器成本降低、计算机硬件计算能力大幅提高,基于激光雷达的环境感知技术成为研究热点。本文以小型无人车系统为实验平台,对道路场景目标的检测与识别方法展开了研究。道路场景中常见的正障碍目标检测与识别技术已经比较成熟,但非结构化道路场景中存在的负障碍目标检测与识别仍是一个难题,且负障碍对无人车系
量子信息学是近几十年发展起来的新型交叉学科,是量子物理学与计算机科学、信息科学相结合的新兴研究领域,它主要包括量子通信和量子计算两个部分。近年来,量子信息学在理论和实验上都取得了重大的突破。量子通信利用量子信道传递经典或者量子信息,其主要优点是能在合法的通信者之间实现无条件的绝对安全通信。量子通信在军事国防、金融保密等领域具有很好的应用前景,主要的量子通信方案有量子密钥分发、量子秘密共享、量子安全
气动系统作为生产自动化的重要手段之一,被广泛运用于各大生产车间,但其能量利用率比电气系统和液压系统低,气动系统仍然具有很大的节能空间。在气动系统中,压缩空气在做完功后通常未经任何处理就排空,造成了能量的浪费,传统的排气回收方法会产生背压,影响气动系统的正常工作,而采用基于压电效应的能量回收装置对系统影响较小,而且具有结构简单、能量转换率高、无污染等优点。利用压电俘能器对流体能量俘获已经成为了研究的
干衣机或洗干一体机在家庭、宾馆和酒店行业中的应用有着逐步扩大的趋势,到了一定阶段,其在城市家庭中的应用率可能会与洗衣机、冰箱等常用家电的应用率大致相当,可见干衣机具有相当可观的需求量。但是干衣机或洗干一体机工作时,不同材料的流道对温度的耐受性不同,流道的结构和干衣机的运行模式都会影响干衣的效果,因此干衣机或洗干一体机在研发过程中,需要进行必要的研究和测试。为了满足干衣机或洗干一体机研发测试的需求而
飞行安全一直以来都是备受关注的一个话题,航迹信息的获取对保障飞行安全至关重要。广播式自动相关监视信号(Automatic Dependent Surveillance-Broadcast,ADSB)是新一代飞行器监控技术,国际航空组织已将其称为下一代航空监视技术。论文首先介绍了课题的研究背景和研究意义,对ADS-B技术在国内外的发展情况以及ADS-B接收机的研究情况做了分析介绍。提出使用软件无线电
随着智慧城市概念的提出,智慧地铁呼之欲出。在这个互联网、人工智能、大数据飞速发展的时代,如何将新兴技术应用到地铁交通中,已经成为业界人士关注的重点。语音识别目前是这些技术中较为成熟的技术之一,智能语音走进地铁已经在很多城市达成共识。基于现阶段地铁车站发展的实际情况,将语音识别技术应用到地铁自动售票机(Ticket Vending Machine,TVM)是最实际、最理想的方案。自动售票机作为地铁车