基于单幅图像的人脸三维模型重建研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:lylor98
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维人脸重建是计算机视觉研究领域中一个活跃的研究课题,具有广泛的应用场景,如在游戏动漫的人物设计、虚拟现实领域中的交互应用以及在医疗领域中进行仿真建模等。尽管三维人脸重建在历史上有几十年的研究,但是由于人脸的差异性和复杂性,三维人脸重建仍是一个极具有挑战性的研究课题,尤其是通过单幅人脸图像完成三维人脸重建。相较于基于多视图的三维人脸重建技术,基于单视图的三维人脸重建技术需要的输入信息量少,这使得我们可以更加快速地完成三维人脸重建。相较于通过昂贵的三维重建设备恢复三维人脸结构,基于单视图的三维人脸重建技术成本更低,操作更加简单。所以本课题的研究极具研究性和价值性。本文从实际出发,对目前基于深度学习方法的单幅人脸三维重建算法进行改进,设计了一个快速、高效的基于编码-解码架构的三维人脸重建算法。而且本文提出了层级特征融合模块以及非对称的权重掩码均方差损失函数来提高三维人脸重建的精度。并且利用重建的结果完成头部姿态估计的功能,最终设计了一个基于三维人脸重建的头部姿态估计系统。所以本文的工作主要包括:首先通过阅读大量的文献,本文对基于深度学习方法的Pr Net(Position Map Regression Network)三维人脸重建算法做出改进,提出了一种基于注意力模型的Efficient Net层级融合编解码网络。在编码网络中,本文使用轻量的Efficient Net作为骨干网络,并提出了层级特征融合模块,将该模块整合到Efficient Net网络中,可以提高编码网络对多层特征的利用。而且在解码网络中引入了注意力模型机制,让整个网络模型更加关注人脸特征,提高了三维人脸重建的精度。然后为了解决均方差损失函数对所有点都是均等对待的问题,本文提出了一种非对称的权重掩码均方差损失函数,该损失函数不仅可以让网络模型更加注重学习人脸区域的特征,而且对于不同区域的人脸特征,其对损失函数的贡献是不一样的。最后,本文设计了一个基于三维人脸重建的头部姿态估计系统。该系统通过不断地读取摄像头中的每一帧数据,然后利用Dlib库完成人脸检测,使用Pytorch框架完成了基于注意力模型的Efficient Net层级融合编解码网络算法的搭建。并将检测到的人脸输入到该算法中,以此完成三维人脸重建的过程,然后根据重建的结果再计算出头部姿态的参数。最后借助Flask框架搭建了一个WEB服务,将三维人脸重建以及头部姿态估计的结果实时显示在网页中。实验结果表明,相较于其它的三维人脸重建方法,本文所提出的算法能够快速的重建出三维人脸模型。在GPU环境下,只需5.3ms即可获得三维人脸重建的结果。在提高了算法运行速度的同时,三维人脸重建精度也保持在一个可接受的水准。本文所提出的算法在三维人脸重建的NME(Normalised Mean Error)大小为4.09%。相较于Pr Net三维人脸重建算法,本文所提出的算法在重建精度上的性能损失了3%左右,但是在重建速度上的性能提高了45%。
其他文献
铁路扣件作为连接钢轨和轨枕的部件,是铁路运输安全的重要保障。通过计算机视觉技术检测扣件状态,具有十分重要的工程价值。扣件检测任务属于图像分类问题,目前常用的扣件检测算法流程为:由轨检车获取扣件图像后,根据图像的底层特征,将扣件分类为正常类别和失效类别。由于扣件姿态不一、道砟遮挡、光照变化、失效形式多样等因素,底层特征无法稳定的描述图像内容,导致分类结果与扣件图像的真实语义不同。图像底层特征与图像真
破产重整制度是旨在挽救处于困境中的企业,使企业获得重生希望的制度安排。因此,在破产重整程序中,应同时考虑债权人、职工安置、地区经济发展、政府税收、社会的安定等多个
能源消耗在推动经济高速发展的同时,也产生了大量的碳排放。由此引发了全球变暖、海平面上升等一系列环境恶化现象,严重威胁着人类的生产和生活安全。低碳经济在此背景下应运而生,在发展经济的同时进行碳减排已刻不容缓。作为世界上最大的发展中国家,中国政府作出了 2020年碳排放强度较2005年下降40%-45%的碳减排承诺,并要求各省份结合自身情况进行具体的减排目标规划。山东省作为我国的经济发展和能源消耗大省
磁通门传感器是一种具有较高灵敏度和测量精度以及体积小、重量轻等特点的弱磁矢量测量传感器。尤其是近些年,随着弱磁测量技术的广泛应用,消费级市场需要大量性能优异且成本低的磁测量设备。但是传统的模拟磁通门传感器,其信号处理电路的性能易受温度、电磁干扰的影响,且难于集成,使得具有抗干扰能力强、集成度高、成本低等优点的数字化磁通门传感器已成为一种技术发展趋势。本论文在分析传统模拟磁通门传感器理论的基础上,深
金属管、板材固体颗粒介质成形新工艺(Solid Granules Medium Forming Technology,SGMF)是利用颗粒代替刚性凸模的作用对管材成形的新工艺,该工艺具有成形过程无污染,介质可重复使用、易于密封、成本低等特点。成形中颗粒介质具有压力分布不均的特性,可以通过控制压力分布使材料在最有利条件下变形,更好的提高成形极限,发挥材料成形性能。颗粒介质的流动性能将决定所成形零件的
行政机关在行政管理活动中时常会改变瑕疵行政行为,但是不受限制的改变往往会导致行政纠纷的发生。因而,为了更好地解决行政机关改变瑕疵行政行为所带来的问题,研究行政机关改变瑕疵行政行为及其司法审查十分有必要。第一部分首先阐述法院审查行政机关改变瑕疵行政行为的状况。从判决中归纳出司法实践中,法院根据瑕疵程度不同认定的瑕疵类型,主要有未达到撤销程度的轻微瑕疵以及需要采用撤销处理的瑕疵。此外还分析了法院在认定
视觉问答是近年来人工智能领域兴起的热门研究方向之一,VQA的核心问题是如何构建图像与问题之间的关联关系。图像与问题之间存在着语义鸿沟,阻碍了图像与问题中语义信息的有
随着互联网技术的不断发展以及移动互联网时代的兴起,越来越多的人将空闲时间花在因特网上。而流媒体的出现,让更多人享受到了更好的视频服务。流媒体视频是直接面向广大用户
工作辊作为轧机最重要的组成部分,其使用性能和服役时间对于轧制生产效率和轧件质量都有很大影响。因而研究高性能高质量的冷轧工作辊具有重要意义。本文对一种新型冷轧辊用高速钢材料进行了热变形行为的研究及开坯锻造过程的工艺优化,为其之后的热加工过程提供理论基础。本文首先利用Gleeble-3800热模拟机在不同的应变速率(0.01-10s-1)和变形温度(950-1150℃)下,对新型冷轧辊用高速钢进行了单
随着无线通信网络的高速发展,人们对无线通信传输性能的要求也越来越高。相比有线网络,无线通信网络具有很大的开放性、移动性等特点,由于其传输信道不稳定,因此更容易受到攻