基于深度学习的三维人体姿态估计和图像合成

来源 :南京大学 | 被引量 : 0次 | 上传用户:suuuper4w
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在计算机视觉领域中,人体图像的理解具有巨大的研究价值和极其广泛的应用前景。其中最基础也是最重要的任务就是人体姿态估计,准确的人体姿态估计在动作识别、智能监控、人机交互等领域都具有巨大的应用价值,而三维人体姿态估计则提供了更多维度的人体信息,减少了姿态的歧义性,能够更好的适用于更多的应用。人体图像生成也是近年来新兴的对于人体图像的研究方向,人体图像生成以人体姿态估计为基础,生成多样性的新图像可用于扩增数据集,并且也可以应用于增强现实、虚拟试衣等领域。近几年来随着深度学习的发展,计算机领域各项任务上均取得了较好的结果。本文有以下三个工作:1.本文提出了一种多视角下的基于三维热图的三维人体姿态估计方法,利用了多视角数据,减缓了遮挡造成的误差,提升了三维姿态估计的准确度。同时在网络中利用了反投影建立二维热图到三维热图的映射方式,保留了关节点位置的置信度信息,为网络融合提供更多信息的同时也实现了网络的端到端运行。2.本文还提出了一种多视角下的基于生成网络的半监督三维人体姿态估计方法,利用无监督编解码网络获得表征人体结构信息的中间特征编码,以此来通过简单轻量的网络回归三维姿态,从而减少了三维标注数据的使用量。同时回归网络中利用了注意力融合的方式,进一步提升了三维姿态估计的准确度。3.本文最后提出了一种基于SMPL模型的人体图像合成方法,可以合成任意姿态、任意形体、任意视角下的新图像。其中利用UV图指导的外表编码网络和交叉训练过程分离了人体外表信息和结构信息,使得生成图像更清晰更接近真实图像,同时全局外表注册的应用使得网络在合成不可见视角时也可以得到准确的外表。本文对三种方法的有效性进行了实验验证并分析,在Human3.6M数据集上和手机采集的数据集上取得了较好的实验结果。
其他文献
据工信部统计,2019年第一季度中国移动互联网月活用户的规模达到11.38亿。用户对于互联网的依赖逐渐增强,这不但为移动应用市场带来了巨大的用户体量,也带来了十分广阔的发展
面板数据分位数回归模型具有面板数据的优点,同时也保留了分位数回归的优势,在计量经济学等领域得到了广泛的应用。在实际问题的研究中,时常会遇到含有内生性的变量,如果忽略变量的内生性问题,其估计结果必然会出现偏差。因此,本文针对含内生变量的面板数据回归模型,提出一种改进的两阶段分位数回归估计。其主要工作如下:首先,引入工具变量消除模型的内生性问题,用复合分位数回归估计得到内生解释变量的估计值。其次,通过
学位
耕地是在人民生活生产中皆扮演着相当重要角色的一种土地利用类型,亦是人类生存和发展过程中最主要的基本生产资料。一个地区耕地集约利用水平的高低,直接影响着当地的综合效益和粮食产量。本文选择了以投入强度,耕作状态和利用效率作为准则层,综合考虑各项因素后选取了9项评价指标,以省域为纵向市域为横向作为研究体系,运用Excel软件对1998-2017年间的黑龙江省,吉林省和辽宁省这三个省份的基础数据、东北地区
在知识经济时代,技术创新是企业提升核心竞争力的重要因素,更是现代服务业这类科技知识含量高的企业发展的关键。为了促进现代服务业等行业的进一步发展,我国实行了营改增这一税改政策,基于税收效应理论和内生生长理论,政府的税收政策会影响企业的行为,那么营改增是否会影响企业的技术创新活动?探究营改增对现代服务业技术创新的影响,对我国今后税收制度改革的进一步深化,行业发展政策的制定,有重要的参考意义。已有关于营
声学功能材料——声子晶体,凭借着带隙特性在减振降噪方面具有极大潜力。传统的布拉格型声子晶体带隙高,不能满足日常生活中250Hz以下的低频振动与噪声抑制需求。局域共振型声子晶体,由于存在低频的共振单元,抑制某些频段的弹性波传播,从而可获的低频带隙。一经提出就获得了极大的关注,涌现出众多声子晶体结构。然而,迄今为止,在声子晶体带隙结构优化方面鲜有探索性研究。本论文尝试解决以上问题,开展基于新型局域共振
中国是一个民族多、语言多、文字多统一的多民族国家,千姿百态的文字造就了中华文化的多样性。而如今,很多语言和文字面临消失的危险,保护语言文字的多样性具有重大的历史意义。东巴文是少数民族纳西族使用的文字,如今越来越少的纳西族人能认识和书写这种文字,这导致东巴文面临失传,本文建立基于深度学习的集检测分割和识别于一体的模型,旨在检测和识别自然场景下的手写东巴文图像。首先,本文基于东巴文的文字特点,收集和书
语言磨蚀影响着语言学习的最终效果,因而成为语言习得研究领域的重要对象。本研究以词汇磨蚀研究中雅柯布逊回归假说和再学习假说为理论依据,以镇江市某高中一年级两个班级的98名学生为实验对象,通过教育对照实验的方式,拟验证以下三个假设:1)词汇磨蚀的回归性特征是客观存在的;2)词汇再学习具有优越性;3)词汇磨蚀的回归性特征与再学习之间存在着联系,逆向顺序可以提高再学习的最终效果。研究发现:1)词汇磨蚀中先
随着汽车保有量的不断增长,大型城市拥堵问题日益明显。一方面是由于城市交通出行对象对交通需求的持续增加及不合理的道路设计导致,另一方面出行对象的主观选路偏好同样导致道路资源的负载失衡。汽车的网络化、智能化发展,不仅为城市交通出行数据获取提供了丰富的来源,而且为解决城市交通问题提供了新的方向。解决局部拥堵不仅需要从微观角度对城市出行对象进行出行诱导,同时需要从高层次、宏观的角度来评估路网状态,掌握城市
近年来,在科技兴邦的口号越来越响,我国科技发展突飞猛进,行业龙头独大甚至垄断的时代背景下,中小型高新技术企业要想站稳脚跟的当务之急是:准确衡量自己的经营业绩,发现自身管理与经营方面的不足,然后更好的制定和执行未来发展战略。所以,怎么样科学地进行业绩评价就变得非常重要。目前大多数企业一般从传统的财务指标角度来衡量企业业绩,而对于像Z公司这类密集性的资金技术的行业来说,这些信息往往片面化、短视化,不能
各类搜索软件拓展了互动业务,推出以问题为纽带的问答社区,随着问答社区的发展壮大,社区中的内容逐渐饱和,参与者的热情渐渐流失。大多数的社区用户只是沉默式的进行浏览,偶