多人紧密交互下的三维姿态与形状估计

来源 :天津大学 | 被引量 : 0次 | 上传用户:DisSmile
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
无标记的人体运动捕捉是计算机视觉和计算机图形学中一个受欢迎且具有挑战性的话题。其主要任务是通过跟踪视频中移动物体的运动来恢复动态3D形状的时间连贯表示。近十年以来无标记的单人运动捕捉有了极大的发展,然而现有的方法需要小心的调整相机以及操作控制台,并且极大程度上依赖分割技术。在多人的情况下,由于多人分割和姿态估计的困难,直接将现有的单人运动捕捉技术应用于多人情形是无法产生令人满意的结果。尽管某些方法可以处理多人情形,但捕获的场景十分受限,同时仅限于非常简单的交互,而不会有相互遮挡,例如面对面打篮球。但是,现实活中多人之间的交互通常非常紧密,例如,拥抱、双人舞蹈或者拳击等等,这在游戏和电影场景中也是十分常见的。因此,重建紧密互动的人的形状和姿态对于现有的实际应用是十分重要的。据我们所知,现有的方法都无法完全自动地同时估计紧密交互下多人人体的3D形状和姿态。更重要的是,由于存在巨大的歧义性,无法将常用的特征(例如颜色,边缘或关键点)分别分配给每个人。当人们密切互动时,由于遮挡,截断和固有的歧义性,问题变得更加复杂且更具挑战性。在本文中,我们提出了一种新的无标记的人体运动捕捉方法,自动的从多人紧密交互的多视角视屏中实现人体的3D姿态和形状估计,本工作的内容和具体贡献如下:1.多人紧密交互下的全自动人体姿态和形状估计:我们的方法不需要对每个人进行手动干预调整,不需要进行人体模版模型的扫描,并且也不需要对图片中的每个人进行分割操作,极大的减少了操作的复杂度。同时在另一方面,使用是非常灵活的,并且计算复杂度较低(在没有GPU加速的情况下,每个人大约仅仅1分钟)。2.多人空域和时域的姿态跟踪:通过考虑时域以及空域的对应关系,来推断多视角下每个人的2D人体姿态顺序,用于后续的人体3D姿态和形状拟合估计。我们的跟踪策略使用了人体边界框和人体姿态边界框信息,这有助于减少由于仅仅使用单人信息而产生估计结果的奇异性,使得估计值更加准确和有效。3.多视角3D人体姿态和形状估计:先对多视角下的人体进行2D人体关键点检测,接着对其进行空域和时域的联合跟踪,然后基于多视角约束,使用检测和跟踪后的关键点进行人体姿态和形状的拟合。多视角下姿态和形状的估计通过最优化的方式来求解姿态和形状参数,基于多步求解优化,使得优化的结果更加鲁棒和合理,避免了局部最优情形。
其他文献
社团发现是复杂网络研究领域的一个重要任务,利用网络拓扑信息与文档内容信息进行社团检测与语义解释已成为复杂网络分析领域新的发展趋势。然而目前的相关研究工作仍存在如下问题。首先,大部分方法都认为社团的定义为:内部结点连接紧密,组间连接稀疏的点的集合。因此,基于此概念的社团发现方法通常难于检测到真实世界存在的其他类型的社团结构。也就是说目前很多方法无法检测到广义的社团结构。其次,在真实网络中,一个社团可
学位
近年来,皮肤摩擦学的研究引起了人们的广泛关注。人体皮肤摩擦性能的表征与摩擦行为的研究及其应用成为生物力学和摩擦学、化妆品、临床以及机器人系统等领域的研究热点。目前,众多学者从理论,实验,数值模拟等角度开展研究,已取得了一定的研究成果。但由于皮肤固有的低弹性模量和对外部刺激的高敏感性,使得皮肤受载后表现出明显的非线性特性,并且皮肤不同于传统的工程材料,它不遵循传统的摩擦理论(阿蒙顿定律),皮肤摩擦会
近年来,随着国内经济水平的不断提高,人们的生活质量也在不断改善。人的一生约80%的时间是在室内度过的,室内空气质量和热舒适状况直接影响着生活质量的好坏。因此,近几年关于室内环境的研究层出不穷,包括室内通风潜力、影响因素以及人员行为研究等。但对温和地区的室内环境状况的研究较少。另外,对于室内空气质量长期监测样本量的科学确定的研究也较为缺乏。本文首先采用长期监测的方法,对温和地区的13户住宅的室内环境
应用商店允许用户对下载的应用程序进行评论,这些评论信息可以直接或者间接的反映用户意图。持续准确的挖掘用户意图可以极大的帮助开发人员维护和改善他们的APP。然而,由于应用评论具有数据量大、非结构化以及评论质量不一等特点,如何高效的挖掘评论中对开发者有用的信息,并将热点评论信息推荐给开发者成了软件开发中重要问题。为了解决上述问题,本文提出了一种基于用户评论分析的APP维护意见挖掘及推荐方案。首先,将用
在航空航天、电力、机械等工程领域各种对于结构健康进行监测的方法越来越得到人们的重视。近年来,FBG传感器因为其体积小、质量轻、对电磁干扰不敏感、容易进行复用、容易埋入各种结构内部构成智能结构等优点,被广泛应用于结构健康监测领域。本文提出了一种基于单FBG振动传感器的结构损伤位置识别算法。在基于振动响应的无损检测原理的基础上,通过搭建高速FBG传感解调系统采集待测结构的振动响应信号,从振动响应信号中
手绘建筑图是一种传达设计理念的重要工具和艺术形式,是建筑设计师在建筑设计完成后将想法表达出来呈现给用户的主要途径。一幅好的手绘风格建筑图需要专业设计师花费大量的时间与精力才能绘制完成,并且在设计师灵感比较活跃的设计初期常常需要绘制多幅这样的手绘风格建筑图才能真正将设计师的想法展现出来,这是极其费时费力的工作。为便于手绘风格建筑图的生成,本文提出了一种新的基于生成对抗性网络(GAN)的线条建筑手绘风
随着互联网的普及和大数据的快速发展,人们从海量数据中获取有效信息的难度越来越大,因此对个性化推荐的需求也越来越高。基于主流社交媒体的发展和用户的动态的兴趣偏好,本文针对推荐系统中数据稀疏性问题进行研究和分析,并提出解决方案:本文通过引入用户行为的时间信息和跨系统的社交信息,提出了融合社交信息和时间效应的协同过滤推荐模型(STCF)。首先利用LSTM网络对用户的短期兴趣偏好进行建模,整合用户长、短期
药物引起的肝毒性可能引起急慢性肝病,造成对患者生命安全的危害。这也是药物从市场撤回的主要原因之一。为了在药物研制的早期测定药物的肝毒性,过去常用动物实验的方法去测定,然而由于这种方法面临很大的人道主义以及效率较低的问题,越来越多的研究者使用药物毒性基因组学数据进行肝毒性预测。通过对基因表达数据的数据挖掘,可以更有效的预测药物的肝毒性。在我们的研究中,我们提出了一种基于基因表达和毒性数据的多剂量计算
隧道掘进机是目前应用最广泛的一类隧道施工重型巨载装备。由于其主要依靠位于装备最前端的刀盘刀具不断旋转切削岩土介质实现掘进,构成了一个与周围地质间不断发生相互力学作用的复杂工程系统。随着传感检测技术的快速发展,目前的掘进装备能够在施工过程中实时记录各类与运行状态相关的数据信息,为分析掘进系统中关键参量间相互影响规律与预测其变化趋势提供了充足的数据源基础。这类工程实测数据往往具有影响参量之间高度耦合且