基于深度学习的手势估计研究

来源 :中国科学院大学(中国科学院长春光学精密机械与物理研究所) | 被引量 : 0次 | 上传用户:ooniono
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来人工智能及其相关领域得到了飞速的发展,人与计算机的交互方式正朝着更自然、更普遍的方向发展。手作为人日常活动的重要组成部分,在人机交互、虚拟现实、机器人等众多应用中是必不可少的组成部分,可广泛应用于娱乐、消费、智能家居、智能驾驶、医疗、工业设计乃至空间应用领域,这使得手势估计受到了人们的广泛关注。手势估计的目的是在三维空间中恢复手部的完整运动姿态,使计算机或者其它设备能够感知人手的空间姿态,从而按照人的指令执行。然而,三维手势姿态估计目前仍然存在很多有待解决的问题,如可获取的手的分辨率低、人手的高自由度、易受环境影响、变化速度快、遮挡和手的相似性等难题都对手势估计的实际应用造成了阻碍。基于以上原因,本论文围绕手势估计问题,利用深度学习机制从深度数据超分辨、异源图像配准融合、手部区域快速检测、手部显著性检测分割、手势跟踪以及手势估计等方面开展了研究工作,主要完成工作如下:手在图像中所占比例较小,能够用于模型分析的数据分辨率较低,这一问题在低分辨率深度图像中更为突出。针对这一问题,本文提出了一种基于深度反馈网络的深度图超分辨率方法,通过迭代的上采样和下采样操作,直接将高分辨率表征投影到低分辨率空间,设计的深度反馈模块不断地模拟图像退化和重建的过程,得到丰富的高分辨率中间特征能够有效获取深度图边缘处的特征,解决深度图超分辨率重建中的深度边缘模糊问题。为了准确提取手部数据,提升手势估计效率,针对此问题,本文提出了一个基于异源图像的手部数据快速提取的框架,首先通过特殊标定物实现彩色图像和深度图像的异源图像的配准融合,其次以YOLOv3为基础框架,使用多头自注意模块替换卷积层进行迁移学习,获取手部外框,然后将U2-Net的残差U-模块替换为引入互补注意机制的双边注意模块,在前景和背景两个维度进行分割,获取手部的精准分割数据,最后为了加速网络效率,采用SiamMask快速获取连续帧图像中的手部区域,从而进一步加速数据的提取。针对关键的手势估计问题,本文提出了一种基于多分辨率多层级特征融合点云网络的手势估计方法,网络的总体架构由三个基本的构建模块组成,即多分辨率手部特征编码器、手部姿态译码器和手部特征重建译码器。多分辨率多层级手部特征编码器抽取不同分辨率的点云特征,并将不同层级的特征进行融合,得到特征编码送入手部三维姿态译码器进行译码,得到手部的三维姿态估计。手部特征重建译码器以手部三维姿态估计和特征编码为输入,以手部三维姿态估计重建出核心点云,并以核心点云为中心重建输入点云,与原始输入点云进行比较,并通过重建点云反向约束手势估计,进一步加强手势估计的鲁棒性和准确性。论文的研究成果为面向人机交互、虚拟现实、机器人等众多应用的三维手势估计提供了可行的实施路径,相关算法已通过实验验证,并展现了良好的结果,具有一定的实际应用前景。
其他文献
近年来,我国在经济、政治、文化、生态各方面都发生了巨大的变化,中国开启了改革发展新时代,社会治理作为国家机制有效运行的重要部分,在提供社会服务,化解社会矛盾方面发挥着不可小觑的作用。在党的十九大报告中,指出要“以人民为中心,加强和创新社会治理,打造共建、共治、共享的社会治理格局”,这成为我国政府从“管理型政府”转型为“服务型政府”的标志。随着我国行政体制改革的不断推进,政府将更多的社会事务交由社会
地球是我们共同的家园,资源与环境是人类社会生存和发展的基本条件之一,环境污染、资源缺失与生态恶化也是人类社会普遍关注的全球性问题。为了让人们周围的空气新鲜、日常生
随着桥梁结构力学分析理论的成熟及一系列高强轻质材料的应用,新建斜拉桥斜越来越多,且斜拉桥的跨径也由大跨度向超大跨度方向发展。为保证斜拉桥在施工过程中和成桥后的承载能力及线形满足要求,需要对其进行可靠而准确的有限元分析。现阶段,对斜拉桥进行有限元分析一般需要在有限元软件中直接建立模型。但这种方式存在诸多不足。首先,建模过程工作量大,比较繁琐。其次,有限元软件的操作具有一定难度,尤其ANSYS是全英文
过渡金属氢化物(TMH)在化学催化和催化转化领域起着至关重要的作用。金属氢化物键的裂解焓能够预测化学反应活性,例如在催化反应中发生的成键和断键,特别是在二氧化碳的氢化。
广东省体育社会团体发展至今已有几十年,其数量增长迅速、类型多样、区域分布趋于合理,在推动广东省体育运动发展和满足群众健身发挥着重要作用。但是,体育社会团体的监督机制远远无法跟上体育社会团体发展的步伐,监督能力有待进一步提高。本文采用文献综述法、访谈法、数理分析法、逻辑分析法,以参与2016年和2017年广东省级体育社会组织评估的十三家体育社会团体为研究对象,分析体育社会团体外部监督主体政府部门、媒
南极磷虾(Euphausia superba)因其生物量巨大、营养丰富而逐渐为人们所重视。南极磷虾油富含磷脂型多不饱和脂肪酸,具有抗过敏、抗氧化、降血脂、降血糖和心血管保护等活性,
底泥疏浚能够有效防止湖泊的二次污染,但同时会产生大量的疏浚底泥。疏浚底泥颗粒细小、含水率高且在自然状态下不易泥水分离,如何加快疏浚底泥的泥水分离是其综合利用的前提
随着现代化的推进和经济的迅速发展,更多的人们使用网络来进行购物,但网购时买家与卖家的所在地不同,使得购买物品需要进行传递。此时,快递公司刚好满足了这一需求,快递公司也借此得到了飞速发展。早在20世纪90年代年,快递公司已经在全球运输业公司类排名中处于靠前的位置。这可以说明快递业的重要性不容小觑。这20多年中快递公司发展迅速,不论是在哪个国家还是在哪个地区,快递行业的重要性都得到了进一步的加强,和人
Nb_2O_5作为一种典型的酸性载体具有多种晶型及多种形貌等结构特征;Au/Nb_2O_5催化剂在催化氧化反应中具有良好的催化活性,而将其用于加氢反应则鲜有报道。本文采用水热合成法制备Nb_2O_5载体,用沉积沉淀法制备Au/Nb_2O_5催化剂,通过不同方式修饰Nb_2O_5载体制得Au/Nb_2O_5-D、Au/Nb_2O_5-H、及Au/Nb_2O_5-O催化剂,用硝基苯加氢制取氧化偶氮苯的
自动化生产线的引入能够减少劳动力,提高产品一致性。机加工企业通过引入大量的自动化加工设备,实现生产线的较高的生产效率,同时保证产品的加工精度。但目前机加工行业自动化程度较低,大多处于半自动化生产状态,各加工工位的工件搬运以及机床上工件的上下料主要依靠人工。虽然传统的搬运上料方式如桁架机械手和有轨式机器人能够提高产线的自动化程度,但是不适合当前多品种小批量的生产模式,柔性化程度低,不能满足个性化生产