三维人体姿态估计及其人物图像生成应用

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:Disama
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单目三维人体姿态估计是指从单台相机拍摄的单张彩色人物图像或者图像序列中估计出人体若干关键点在三维空间中的坐标的问题。人体姿态估计能提供关于人体运动和姿态的丰富几何信息,因此在人机交互、机器人、人类行为分析、游戏设计、虚拟现实、视觉监控等领域有着广泛的应用。尽管诸多研究人员在此领域投入了大量努力,单目三维人体姿态估计仍是一个十分具有挑战性的研究问题。其主要难点在于人体姿态的高自由度、图片深度信息的缺失带来的固有深度歧义问题、图像背景的复杂多样以及多样化训练数据的缺乏等等。尽管借助专业设备能够部分地缓解这些难题,但是这些设备往往是专用而昂贵的,极大地限制了其应用范围。因此,如何从普通相机拍摄的彩色图像中估计出三维人体姿态引起了越来越多研究人员的兴趣和注意力。本文首先提出了人体姿态的双向依赖模型,并设计了基于双向依赖模型的渐进三维人体姿态估计方法。具体来说,由于人体独特的生理结构,不同的身体部位有着不同的自由度。身体各关节点自由度的不同导致了估计三维人体姿态时各关节的难易程度的不同,从而进一步导致了各个部位的估计精度不同。传统三维人体姿态估计方法对人体各个部分一视同仁,使得该问题更为明显。为此,我们根据自由度的高低,将人体关节点分为三组。按照自由度从低到高分别为躯干、近端肢体关节点和远端肢体关节点。我们将较难的高自由度的关节点当作较容易的低自由度关节点的依赖变量;反过来,前者又可以看作给后者的位置施加的一个约束条件。为了进一步提高高自由度部位的预测精度,我们提出了姿态属性估计,即学习肢体关节点相对于自由度最低的躯干的相对位置。姿态属性是从图像中学习的额外的图像信息,并被输入到姿态估计模块来提供先验信息,以帮助估计三维人体姿态。该方法在Human3.6M、MPI-INF-3DHP等数据集上取得了当前最佳的效果。传统三维人体姿态估计方法一般先做二维关键点检测,再将二维坐标逆向映设到三维空间。我们论证了这类方法过于脆弱的缺点,不能应对实际应用中很常见的关键点缺失、重度遮挡等情况。为此,我们提出一种简洁、优雅而鲁棒的三维人体姿态估计方法来解决这类问题。我们的方法并不用检测离散化的二维关键点,而是检测图像中人体各个部位的区域并估计对应的二维和三维方向,然后结合三维方向和内嵌的人体模型来生成最终的三维人体姿态。这样做的优点是,即使人体的某一部分未在图像中出现,我们的方法也能利用可见的局部图像信息来恢复完整的三维人体姿态。例如,如果踝关节未在图像中出现,我们的方法可以根据小腿的三维方向来转动人体模型骨架从而推断出踝关节的三维位置。有些情况下可能连续两个关节点都不可见,例如整个小腿都在图像外或被遮挡了。为了应对这种问题,我们还提出了一个姿态补全网络。该网络可利用可见部分的三维信息来推断不可见部分的三维位置,从而产出一个完整而合理的三维人体姿态。姿态补全网络进一步提升了我们方法的鲁棒性。在室内数据集Human3.6M上,就平均关节点位置误差而言,我们的方法取得了与当前最好结果相当的性能;在做普氏分析进行刚性变换对齐后,我们的方法取得了当前最佳效果。在野外数据集MPI-INF-3DHP上,我们在没有用该数据集训练的情况下取得了当前最佳结果。此外,在对测试图像施加随机平移、随机遮挡、随机擦除、随机边框扰动等人工干扰的情况下,我们方法仍然能够保持较高精度的人体姿态估计结果,而且大幅优于多个当前最好的方法,证明了该方法的鲁棒性。以上两个工作均是从图像中估计人体三维姿态。我们还探索了其逆向任务,即利用给定的三维姿态生成对应的人物图像的问题。该任务的目标是,给定任意一个目标三维人体姿态和一张源图像,根据源图像中的人物外表生成在原背景下做目标三维姿势的新的人物图像。以往的人物图像生成技术一般是利用二维姿态来描述目标姿态的。由于缺乏深度信息,二维姿态在自遮挡等情况下会有明显的歧义,导致生成错误的图像。为了解决该问题,我们提出了利用三维人体姿态来生成人物图像的解决方案。我们利用部分关系场来表示目标姿态的三维结构和在图像中的二维位置。与基于二维姿态生成的图像相比,我们生成的图像有更准确的图像细节,例如正确的自遮挡关系、亮度、人脸朝向等等。除此之外,传统的图像生成器一般直接输出目标图像。与此不同的是,我们的方法是预测目标图像与源图像的差分图像,而不是直接输出目标图像。这种方式使得图像生成网络能够重点关注生成图像的前景,且能够显著减少图像背景中的噪音和人工痕迹。我们在Human3.6M数据集的15种不同动作视频序列上测试了我们的方法。大量的实验证明了,我们提出的方法能够生成明显好于基于二维姿态的方法生成的图像。在给出一个目标姿态序列的情况下,即使是目标姿态是来自不同演员、不同动作的,我们的方法也能够生成在时域上平滑一致的图像序列。这表明我们的方法在生成高质量人物视频的任务上有着巨大潜力。
其他文献
资产证券化中道德风险导致的贷款筛选标准下降是2008年次贷危机的诱因之一,此后美国证券化市场迅速缩水,中国政府也暂停了资产证券化试点。随着美国次贷危机逐步解决,特别是中国第一阶段试点的效果得到验证,2011年中国政府重启试点,但伴随发行规模变大,信贷资产证券化基础资产的违约单数也在增加。究其原因,在结构化包装下,投资人难以穿透观察基础资产的质量,加之证券化交易供给方懈怠资产管理、尽职调查不充分、误
学位
身处充满变化和不确定性的环境中,团队主管经常会经历权力损失,即主管掌握的重要资源遭到损失,或成员对主管权力的合法性认可下降。这是主管乃至整个团队都经常面对的考验。然而,现有研究缺少对“权力损失”的足够关注,且少量的相关研究仅停留在权力损失对个体产生的各种负面影响上,缺少个体主动应对权力损失并重建权力的研究。另外,现有大多数研究仍秉持结构主义的权力观,静态地研究权力的影响规律,缺少从动态视角对权力有
学位
近年来,越来越多的实体企业热衷于购买理财产品、买卖有价证券、投资房地产、发放委托贷款、通过设立小额贷款公司或财务公司参与影子银行业务。这一非金融企业对金融市场的参与度日益增加、企业资金不断涌入金融领域的现象被称为企业“金融化”。由于金融投资的收益率远高于实体投资,企业配置金融资产能够在短期内改善企业的财务状况。然而从长期来看,对金融资产的过度投资容易挤出主营业务发展所需要的资源,阻碍企业竞争力的构
学位
2020年4月24号,中国行星探测工程“天问系列”正式启动,2020年7月31号,北斗全球卫星导航系统正式向全世界提供服务,我国太空活动加速发展。航天器的姿态控制和信息处理需要大量的集成电路系统。太空中有很多宇宙粒子,这些太空粒子对航天器内的集成电路造成不同程度的影响甚至破坏,因此我国空间技术对抗辐射高性能集成电路提出迫切要求。随着科学技术的进步,半导体器件尺寸等比例缩小,单位面积上集成的器件数目
学位
Ir是一种熔点高且氧渗透率极低的贵金属材料,已应用于航天器推进系统高温部件的热防护,在超高温(>1800℃)条件下较传统Si系超高温陶瓷有独特优势。但受制于Ir在非平衡环境下极高的热响应,其在高超声速飞行器热防护领域的应用受到了限制。针对此问题,本文通过表面合金化改性制备出Ir-X合金层,有效降低了Ir涂层的催化系数,并提高了涂层发射率,改善了涂层非平衡环境下的烧蚀性能。围绕这一目标,论文从改性元
学位
多输入多输出(MIMO)雷达,基于发射分集技术可获得远大于其物理阵元数的系统自由度(DOFs),在成像方面相较于传统雷达成像技术具有独特的优势。正交发射波形集是MIMO雷达成像应用的重要基础。正交频分复用(OFDM)是现代通信中常用的一种多载频传输技术。利用OFDM信号多子载频间天然的正交特性,可以实现MIMO雷达理想的正交发射,从而有效避免多个发射通道间的串扰,最大程度地提高MIMO雷达系统的成
学位
精密、可靠和实时性好的动对动相对定位技术对于航天器空间交会对接、飞机协同加油、车辆智能交通和舰载机着舰引导等应用至关重要。全球卫星导航系统(Global Navigation Satellite System,GNSS)以其全球覆盖性、全天候可用性和较好的长期精度,是目前实现动对动相对定位的主要手段。然而,GNSS导航信号较为脆弱,容易受到遮挡和干扰,并且GNSS接收机的采样率一般较低。惯性导航系
学位
后摩尔时代,一方面,工艺尺寸的继续缩小变得越来越困难,另一方面,传统处理器结构的创新也面临诸多瓶颈。为了继续提高数据处理的性能来满足日益增长的计算需求,一些面向特定领域的专用计算结构被提出。基于伊辛模型的CMOS型伊辛架构将组合优化问题映射为伊辛模型,通过伊辛模型的基态搜索过程高效求解组合优化问题。当前CMOS型伊辛架构的研究聚焦于降低自旋更新电路的硬件开销,提高自旋的集成能力,使其支持大规模的现
学位
中低速磁浮列车作为一种新型的城市轨道交通工具,越来越得到公众的关注和认可。北京和长沙已建立示范线并开通运营,广东清远和湖南凤凰也正在建设中低速磁浮旅游线。悬浮系统作为中低速磁浮列车的关键系统之一,其安全性和可靠性对中低速磁浮列车的运行具有十分重要的影响。其中,故障预测与健康管理(Prognostic and Health Management,PHM)技术作为一种提高系统运行安全的有效手段,受到了
学位
提升无人平台的自主能力是未来智能化无人作战亟需解决的关键问题。无人平台自主能力的核心之一是其在不确定环境中自主学习和规划的能力。然而,智能体学习和规划过程中面临着两大难题:环境的不确定和问题规模的增大。环境模型不准确、行动效果不确定、环境动态变化等不确定因素,以及随着问题规模的增大导致状态空间大、动作空间大和任务周期长等特点,为智能体自主学习和规划带来了巨大的挑战。针对上述问题,本文以马尔科夫决策
学位