【摘 要】
:
近年来,随着计算机大规模计算能力的提升和信息化时代的到来,人们对虚拟现实、增强现实、机器人操作等方面的需求提高,其中3D手部姿态估计发挥着重要作用。随着商用相机的普及和人工智能的快速发展,基于视觉的3D手部姿态与形状估计的研究越发深入,提出了许多手部姿态与形状估计方法,用于从图像输入中估计手部的3D姿态与形状。尽管这些方法取得了显著的进展,但在精度及姿态还原度方面还有待改善,尚需进行进一步的深入研
论文部分内容阅读
近年来,随着计算机大规模计算能力的提升和信息化时代的到来,人们对虚拟现实、增强现实、机器人操作等方面的需求提高,其中3D手部姿态估计发挥着重要作用。随着商用相机的普及和人工智能的快速发展,基于视觉的3D手部姿态与形状估计的研究越发深入,提出了许多手部姿态与形状估计方法,用于从图像输入中估计手部的3D姿态与形状。尽管这些方法取得了显著的进展,但在精度及姿态还原度方面还有待改善,尚需进行进一步的深入研究。本文对基于视觉的手部姿态与形状估计技术进行探索,并设计了两种方法,旨在为解决上述问题提供新的思路。本文完成的主要工作如下:(1)由于深度图像中包含的噪声和杂点较多,手指灵活度高,手指之间有很强的自相似和自遮挡,因此直接从深度输入中回归3D姿态是高度非线性的映射,且关节点的回归过程是不可控制的。针对上述问题,本文将高度非线性的任务分解为两个相对低维且可控的子任务。同时,本文设计了一种潜在特征空间映射方案,用于从深度图像中估计手部3D姿态。在几个公开数据集上,进行了互对比和自对比实验。互对比实验表明,将高度非线性的任务分解为两个相对低维且可控的子任务,其估计精度可达到当前最新方法的水平,表明本文设计的潜在特征空间映射方案是有效且可行的;自对比实验表明,采用以恒等残差模块为基础构建的潜在特征空间映射网络可以实现潜在特征空间之间的有效映射。此外,在少量训练数据集的情况下,同样可以达到良好的估计精度。(2)由于深度图像在野外环境比较受限,且仅估计手部关节点已经无法满足目前手部估计任务的需求;此外,从单幅RGB图像中估计3D手部姿态是一个不适定问题。为了更好地获取图像中手的有效信息,本文设计了一种基于单幅RGB图像的手部姿态和形状估计方法。该方法由两个级联网络构成,前者用以估计手部姿态,后者用于重建手部形状。为了不破坏像素之间的相对位置关系,本文采用以1D CNN为基础的姿态估计网络,完成了手部3D姿态估计的任务。本文设计了一种编码器-解码器结构,利用特征图像和3D手部姿态提供的信息恢复出手部模型的网格形状。本文根据不同数据集的形状标注特点,设计了两种手部形状估计方案,并对各个方案进行了实验分析和讨论。实验结果表明,本文的方法可以从单幅RGB图像中估计出较为准确的手部姿态和完整的手部形状,但仍然有一定的改进空间。
其他文献
骨关节炎(Osteoarthritis,OA)是最常见的退行性关节疾病,其特征是关节软骨的进行性退化和软骨下骨的重塑以及骨赘的形成,临床上引起关节疼痛、功能障碍,甚至残疾。关节软骨细胞外基质(Extracellular Matrix,ECM)分解代谢的增加是OA发生发展的关键因素。ECM的主要成分是蛋白聚糖、Ⅱ型胶原和非胶原蛋白,其在合成或降解过程中一些特定的碎片得以释放到体循环中。随着分子
在海上目标检测的过程中,基于人工智能的目标检测已经成为必不可少的重要实现工具。在宽阔的水域或者港口码头,无论密集的聚集还是松散的分布,都需要对船舶快速地检测和定位,进一步有分类以及分割的实际需求,对目标检测稳定高效性的要求也越来越高。本文的主要研究内容为改进YOLOv3目标检测算法的网络结构,以期提升网络的准确率和召回率。本文以水上船舶图像作为研究对象,进行深度学习神经网络模型研究、船舶图像增强研
近些年,随着国家法制建设的推进,如何通过信息抽取技术从海量司法文书中获取有用信息,助力于“智慧司法”建设,已成为自然语言处理领域中的研究热点。其中,关系抽取作为司法信息抽取技术中的关键技术之一,不仅能够帮助办案人员进行案件要素的关系梳理,提高办案效率,还可为司法问答、司法推理、司法知识图谱构建提供重要的技术支持,因此,其研究意义重大。然而由于司法文本的复杂性和特殊性,导致各罪名案件间的关系诉求存在
深度估计是诸多立体视觉任务中的基础环节,在三维重建、机器人、自动驾驶等领域有较为广泛的应用。近年来,卷积神经网络的相关理论趋于成熟,在计算机视觉领域获得了瞩目成就,也为深度估计任务提供了新的解决思路。基于深度学习的深度估计任务通过理解图像的内容,对现实场景中各点的实际距离进行预测。单目深度估计受限于尺度模糊,为了提升其预测准确性,网络结构和信息线索成为解决这一任务的关键。本文从探索不同的信息线索对
在有雾天气下,空气中会存在大量悬浮粒子。来自场景的反射光穿过雾气时,会与粒子发生散射,导致反射光衰减,这种现象严重影响了后续图像处理技术的功效。在很多现实场景中都会面临此问题,所以,图像去雾是一项极具实际意义的任务。本文主要针对去雾算法中的暗通道先验算法进行研究,通过分析其存在的问题,提出改进的去雾算法,最后通过实验验证改进算法的有效性。具体研究内容分为两部分:(1)改进的天空区域分割及去雾算法。
人脸属性迁移任务作为计算机视觉领域一个重要的研究分支和人脸属性研究的基础工作,旨在精准地迁移给定人脸属性图像中的目标语义属性。近年来,深度学习的发展推动了人脸属性迁移任务的研究,现有的人脸属性迁移算法一方面通过迁移不同的人脸属性,达到了交互式娱乐的效果;另一方面通过合成更多的人脸数据,一定程度上缓解了人脸属性分析任务中数据量不足和类别失衡等问题。然而,由于复杂的面部结构和模糊的人脸属性定义,现有算
手势估计在诸多场景下都有着重要的应用,例如机器人操控抓取、虚拟现实和增强现实等。针对于空手条件下的手部检测和手势姿态估计方法已经达到了很高的精度,但是当手与被操作对象进行交互时,手部定位及手势估计效果并不令人满意。造成性能不佳的原因主要有物体遮挡因素的干扰以及人手姿态的多样性和不确定性。针对这些问题,本文提出了手物交互场景下基于深度学习的手部二维检测和手部三维关节点定位的方法,并在对应的数据集上取
教育直播是一种新兴的教学模式,依托于互联网直播技术的飞速发展,让教学课堂不再拘泥于地点的限制,教师可以使用教育直播系统将教学信息实时地传递到多个学生的终端设备上,实现随时、随地的授课。现今市场上教育直播平台种类繁多,但存在着安全性、私密性、体验感受、适用性等方面的问题。针对上述情况,本论文在深入研究直播技术的基础上,根据教学课堂的实际应用需求,设计了一种基于FFMpeg的教育直播系统。该系统划分为
基于视觉的手部3D姿态估计及形状重建是实现人机交互的重要环节,在虚拟现实、智能机器人等领域具有广泛应用。近年来,深度学习和神经网络的迅猛发展为计算机视觉提供了强大的技术支持,涌现了大量优秀的基于视觉的手部姿态估计和形状重建方法。尽管这些方法已经取得了喜人的成绩,但RGB图像存在诸如背景复杂、深度信息缺乏等问题,导致姿态估计的精度及形状重建的效果仍有提升的空间。针对以上问题,本文给出一种基于单张RG
图像生成,旨在使用机器学习或者深度学习方法生成满足用户需要的虚拟图像。目前主流的图像生成算法多数是文本到图像的生成,这类算法在简单语义结构下通常具备较好的表现能力。但是当文本描述中的语义结构较为复杂时,例如对象数量多,对象之间关系复杂等情况,生成的图像中对象轮廓不清晰,边界模糊,图像质量低。后续有工作为解决上述问题,提出了场景图到图像的生成模型,以图结构的数据作为输入,通过挖掘场景图中复杂的语义结