基于单目图像的三维人体联合重建技术研究与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:hudongfei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人体模型重建一直是计算机视觉领域的一个重要研究课题。现有的互联网公开数据中包含大量的人体图像,重建三维人体模型可以更好地理解和描述图像中人体动作、形态、表情等信息。基于深度学习的方法在重建三维人体模型领域中应用较为广泛,然而目前缺少包含全身三维人体模型标签的公开数据集,这给基于单目图像重建全身三维人体模型带来了很大的阻碍。本文构建了带全身三维人体模型标签的数据集,并提出了端到端的全身三维人体模型重建算法。现有的公开数据集中只包含身体模型标签,无法训练端到端的全身人体模型重建算法。为了解决数据集缺失问题,借鉴拟合参数模型的思想,本文构建了带全身三维人体模型标签的数据集。首先,筛选HUMBI数据集中清晰的人体图像,并基于Open Pose算法提取全身关键点坐标;其次,将SMPL模型映射到SMPLX模型,得到与HUMBI数据集身体模型相同姿势和体型的SMPLX模型;最后,映射得到的全身人体模型SMPLX作为先验模型,将SMPLX模型拟合到估计的全身关键点,优化手部动作和脸部表情,得到最终的全身三维人体模型标签。本文构建的全身三维人体模型精度结果表明,可以将其作为端到端网络训练的真实标签。本文最终构建了34851对数据,数据集包括原始图像,及其对应的全身关键点坐标和全身三维人体模型。二维人体图像中,手和脸在图像中占比较小是客观事实,为了适应现有的图像特征提取网络,在将图像缩放到较小的分辨率后,通过下采样网络,会丢失手和脸细节信息。因此,基于上述构建的数据集,本文提出了两阶段重建全身三维人体模型算法。首先,在原始图像中裁剪身体、手和脸的图像,保证三部分都具有较高的分辨率;其次,分别设计了身体、手和脸的特征提取网络,提取身体、手和脸的图像特征;最后,将上述的三部分特征进行级联,使用联合重建网络,重建全身三维人体模型。基于构建的数据集进行测试,对本文提出的端到端的重建三维人体模型算法与现有的方法进行对比,结果表明本方法重建的全身人体模型精度和算法运行效率均有较大的提升。此外,本文还分别将身体,手和脸特征提取模块与现有方法进行对比,在公开数据集中,各部分重建的模型精度均有较好的表现。
其他文献
随着数字化技术逐渐应用在我们生产生活的方方面面,数字化控制系统在众多控制领域逐渐成为主流。步进电机是一种将数字步进脉冲信号转变为离散位移增量的执行元件,因转动的角度严格与输入的步进脉冲信号成正比,被广泛应用于开环数字控制系统。然而,步进电机在开环控制中存在着低频振荡、失步、过冲以及噪声大等问题,无法满足更高频率及更高控制精度的驱动要求。因此,研究高可靠性、高控制精度、高集成度、成本低的步进电机驱动
学位
随着集成电路的工艺制程进入纳米时代,芯片内集成的电路规模不断扩大,AMOLED驱动芯片得以飞速发展。芯片的整体架构变得越来越复杂,这不仅对芯片的设计提出了更高的要求,也给芯片测试带来了极大的挑战。可测性设计是在不影响芯片正常功能前提下将测试电路在设计阶段部署到芯片内,增强测试时对电路的可控性和可观察性。为了提高芯片的可靠性,缩短测试时间,可测性设计逐渐成为保证芯片质量和减少测试成本的重要测试方法。
学位
拷贝数变异是人类基因组研究中一种常见的结构变异类型,它由于发生基因组重新排列导致了许多重大疾病,如:肺癌、白血病和心血管疾病等,对人类复杂疾病的研究具有重要的生物学意义。拷贝数变异检测是复杂疾病医学研究中拷贝数变异系统分析的重要步骤,其检测结果的准确性直接决定了该类疾病临床诊断的可靠性和基因治疗策略的安全性。因此,拷贝数变异检测最关键的任务是提高检测结果的准确率和灵敏度。第二代测序平台的最新发展给
学位
景物成像容易受到雾天影响,导致成像不清晰、目标不易鉴别等质量下降问题,广泛使用的基于暗通道先验的去雾算法能够基本消除雾的影响,但产生的某些去雾图像过暗,目标由于光照不足变得特征微弱,图像增强算法在此显示了其必要性,它们在图像特征提取需求中扮演着无可替代的角色。论文的研究重点为单图像去雾和去雾图像增强,在分析暗通道先验和CLAHE算法原理的基础上,围绕边缘保留滤波、大气光估计、对数变换、频域变换以及
学位
人工智能的应用场景越来越广泛,在图像识别、文本处理、语音识别、决策系统、大数据等应用上,已经达到相当高的水平。由于神经网络的参数量巨大,在成本有限、资源有限、功耗水平有限等众多因素下给神经网络算法部署带来了巨大的挑战。因此,有必要从软件算法和硬件结构两方面对神经网络算法的实现进行加速优化,以满足神经网络加速器高精度、低延迟及低功耗等需求。本文致力于设计一款高性能、高能效的神经网络推理芯片,并从软件
学位
随着互联网的快速发展,网络信息逐渐成为人们生活中的重要组成部分,由于公共网络的广泛性和开放性,网络信息在传输过程中易被获取并篡改,从而造成重要信息被泄露,甚至对相关网络造成严重破坏。对于一些安全防护要求比较高的单位和机构,不得不将自身网络与外部公共网络进行隔离。但随着大数据、物联网等技术的发展,以及与互联网的深度融合,这些单位和机构不可避免的要与内部网络之外的公共网络进行数据交换以支撑自己内部业务
学位
在科学与工程的技术应用中多目标优化问题随处可见,具体表现在自动控制、投资组合、投资决策和车间调度等方面。虽然超多目标优化问题在很多领域都有广泛应用,但随着目标数量的增大,现有的超多目标进化算法也暴露出较多的弊端。例如,算法在进化过程中无法较好地判断出解的支配关系,导致非支配解的数量快速增长,从而使得算法难以选择出合适个体进入下一代,最终造成算法收敛到局部最优解甚至无法收敛。本文针对超多目标优化问题
学位
去中心化移动众包系统借助区块链技术,摆脱了集中式移动众包系统对可信中心化众包平台的依赖,利用区块链系统代替第三方实体,通过矿工节点的工作保证系统的稳定运行。去中心化移动众包系统通常包含请求节点,工作节点和矿工节点三类节点,节点协同执行任务,保证系统的安全和发展。但其缺少了可信中心的监管,所有节点的行为完全自主,动态的去中心化环境和不可预测的节点行为对去中心化移动众包系统的性能提出了挑战,因此需要合
学位
现如今,互联网的兴起,不良信息在互联网的传播以及医疗需求的不断增加,许多诊疗交互系统的功能以及性能不能满足用户的使用需求,因此本论文针对目前诊疗交互系统的不足,设计与开发了基于Spring Boot框架的诊疗交互系统—云病历。此外,目前市面上的诊疗交互系统很少考虑到敏感信息在诊疗交互系统中传播的可能性,所以本文进一步在云病历系统原有功能的基础上针对敏感信息的存在增加了敏感语义检测模块并给出了具体的
学位
多目标优化问题是工程应用与科学研究的基本问题,解决此类问题的主要方法是进化计算。随着众多学者提出许多经典的多目标进化算法,经过多年实践证明这些算法能很好解决多目标优化问题,但是面对高维决策变量的大规模多目标优化问题,它们的求解有效性会大幅缩减。这就是著名的“维度灾难”问题,当维度增加时,搜索空间会呈指数型扩大。而现实世界中存在大量的高维多目标优化问题亟需解决,所以迫切需要设计新型算法来解决大规模决
学位