基于单张图片的人脸三维重建研究及其应用

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:zcllq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机视觉技术的不断发展和计算机软硬件处理能力的不断提升,人脸三维可视化技术日趋成熟,进而使其大规模推广成为了可能。当前人脸三维重建技术在辅助人脸识别、影视娱乐、医疗健康、3D打印等领域存在巨大的应用前景。因此,它也成为了一个热点研究问题。许多研究小组致力于从人眼的感受机制来研究三维可视化问题。对于人的视觉系统来说,基于二维图像来提取物体的三维信息是一个很自然的过程,但这对于计算机来说是一个非常具有挑战性的任务。本文的主要研究内容是基于单张图像的人脸三维重建,即在给定单张人脸图像的情况下,通过算法得到该人脸的三维模型。  基于图像的人脸三维重建已经得到了广泛的研究。现有众多方法存在各自的优缺点,本文经过对比研究,提出了一种修改后的基于形变模型的单张图像人脸三维重建系统框架。它将形状重建和纹理恢复过程解耦,提高重建的效率。同时,本文也对人脸模型的应用进行了研究和推广,具体工作内容如下:  一、三维人脸数据规范化  形变模型建立在规格化模型样本集之上。在获得人脸三维模型之后,本文所提的基于形变模型三维重建系统将对所有的模型进行对齐。与传统基于光流对齐算法相比,提出的方法具有以下优点:其一,通过采用薄板样条变形实现了稳定的人脸模型稠密点匹配;其二,所提方法将参考人脸向数据库人脸对齐,从而快速地获得点云数目一致、拓扑结构相同的三维人脸,并以此构造出更为有效的三维人脸形变空间。  二、基于稀疏点的三维重建  结构信息的恢复是重建系统的核心。传统的稠密点匹配方法可以实现基于单幅人脸图像的高精度三维重建,然而重建结果易受初始模型影响,且迭代过程容易陷入局部最优,计算复杂度高。为解决上述难题,本文首先基于形状回归算法自动提取形变模型和输入人脸的关键点;其次,利用这些稀疏关键点间的匹配恢复目标人脸的形状信息,避免过拟合;最后,加入重投影误差约束精细化重建结果。在PIE人脸数据库和网络人脸图片集上的对比实验表明,所提方法能够有效减少重建时间,且具有良好的三维可视化效果。  三、基于学习模型的全纹理合成  由于遮挡的存在,如何基于单幅图像全面恢复人脸纹理信息是人脸重建的主要难点之一。为解决该问题,研究人员提出了很多算法,但这些方法仍存在一定的局限性,例如:基于邻域信息的插值修复易使得纹理出现“拉丝”的状态,同时,基于纹理的全局拟合又难以求解准确的光照参数。为处理上述问题,所提方法根据人脸不同部位纹理信息的相似性,对数据库的人脸纹理图像进行分块学习,从而得到有效的纹理预测模型。测试阶段,输入人脸图像后,所提的方法根据人脸关键点进行自动纹理信息提取,进而合成缺失纹理。在网络人脸图片集上的实验结果表明,所提方法能有效进行人脸模型的全纹理重建。  四、人脸三维模型的应用  人脸三维重建的技术已经发展到一定阶段,其结合实际问题开发相关应用将成为研究人员关注的焦点,如影视动画、3D打印等。本文在重建三维人脸模型基础上,进一步研究了人脸模型的表情合成系统。该系统通过少数几个关键点的控制,利用拉普拉斯算子保持模型局部形状约束,从而实现人脸表情的自然变化。实验结果验证了该方法的有效和便携。以此为基础,本文还将算法部署到PC端和移动端,实现三维人脸重建技术的垮平台应用。
其他文献
人工神经网络、小波分析和遗传算法的研究是当代信息科学技术的前沿和热点,对于复杂非线性系统辨识和预测具有重要的理论和应用价值。本文在深入研究小波分析、人工神经网络
近些年来兴起了一大批社交网站和图像分享网站例如Flickr、Facebook,这些网站鼓励用户上传图片并给图片打上标签用于描述图片内容,因此拥有了海量的网络图像资源,并且呈指数级增
视觉人体行为分析是计算机视觉领域中的一个重要研究方向,它是通过计算机来实现对未知视频序列中的人体行为的自动分析,实现对视频中人体行为的行为类别预测、发生位置判断等目
在我国变压器生产行业中,传统的以经验和试验为主的设计方法相对于以计算机辅助设计(CAD)和计算机辅助工程(CAE)为代表的新技术来说,已经不再适合现代市场竞争的需要。利用计算机辅助工程的方法,可以在十分接近真实情况的静态和动态运行条件下研究零部件的特性,而无须投入大量的实际试验费用。将CAE 技术引入变压器的设计生产中,可以显著的提高产品的设计性能,缩短设计周期,增强产品的市场竞争力。为了合理又可
学位
学位
针对汽车自适应巡航控制系统这一类模型未知、运行环境不确定的系统,基于模型或基于专家经验的传统控制方法很难求解最优的控制策略。基于数据学习的方法,特别是强化学习,通过与
模糊控制作为智能控制的一个分支,近年来在许多实际控制问题中得到了广泛的应用,尤其是可以对那些复杂的工业过程和具有强烈的非线性、不确定性、甚至根本无法建立精确数学模
生产过程的自动控制,一般要求保持过程进行中的有关参数为一个定值或按一定规律变化,由于工业生产各不相同,生产过程本身又大多比较复杂,这样就给对被控对象的认识带来困难。
在对实际控制过程的分析过程中,总有一些未知因素存在, 诸如未建模动态、参数不确定性、工作环境的变化、降阶及线性化近似等,也包括外部干扰的不确定性。因此,对扰动控制系统或不确定控制系统的研究就更加符合实际过程。鲁棒控制理论的产生和发展,正是基于这一实际背景的,并逐渐成为控制理论和实际工程控制领域的一个重要研究方向。鲁棒控制主要包含两个方面的内容:(1) 控制系统的鲁棒性及稳定性分析;(2) 控制系统