论文部分内容阅读
随着计算机视觉技术的不断发展和计算机软硬件处理能力的不断提升,人脸三维可视化技术日趋成熟,进而使其大规模推广成为了可能。当前人脸三维重建技术在辅助人脸识别、影视娱乐、医疗健康、3D打印等领域存在巨大的应用前景。因此,它也成为了一个热点研究问题。许多研究小组致力于从人眼的感受机制来研究三维可视化问题。对于人的视觉系统来说,基于二维图像来提取物体的三维信息是一个很自然的过程,但这对于计算机来说是一个非常具有挑战性的任务。本文的主要研究内容是基于单张图像的人脸三维重建,即在给定单张人脸图像的情况下,通过算法得到该人脸的三维模型。 基于图像的人脸三维重建已经得到了广泛的研究。现有众多方法存在各自的优缺点,本文经过对比研究,提出了一种修改后的基于形变模型的单张图像人脸三维重建系统框架。它将形状重建和纹理恢复过程解耦,提高重建的效率。同时,本文也对人脸模型的应用进行了研究和推广,具体工作内容如下: 一、三维人脸数据规范化 形变模型建立在规格化模型样本集之上。在获得人脸三维模型之后,本文所提的基于形变模型三维重建系统将对所有的模型进行对齐。与传统基于光流对齐算法相比,提出的方法具有以下优点:其一,通过采用薄板样条变形实现了稳定的人脸模型稠密点匹配;其二,所提方法将参考人脸向数据库人脸对齐,从而快速地获得点云数目一致、拓扑结构相同的三维人脸,并以此构造出更为有效的三维人脸形变空间。 二、基于稀疏点的三维重建 结构信息的恢复是重建系统的核心。传统的稠密点匹配方法可以实现基于单幅人脸图像的高精度三维重建,然而重建结果易受初始模型影响,且迭代过程容易陷入局部最优,计算复杂度高。为解决上述难题,本文首先基于形状回归算法自动提取形变模型和输入人脸的关键点;其次,利用这些稀疏关键点间的匹配恢复目标人脸的形状信息,避免过拟合;最后,加入重投影误差约束精细化重建结果。在PIE人脸数据库和网络人脸图片集上的对比实验表明,所提方法能够有效减少重建时间,且具有良好的三维可视化效果。 三、基于学习模型的全纹理合成 由于遮挡的存在,如何基于单幅图像全面恢复人脸纹理信息是人脸重建的主要难点之一。为解决该问题,研究人员提出了很多算法,但这些方法仍存在一定的局限性,例如:基于邻域信息的插值修复易使得纹理出现“拉丝”的状态,同时,基于纹理的全局拟合又难以求解准确的光照参数。为处理上述问题,所提方法根据人脸不同部位纹理信息的相似性,对数据库的人脸纹理图像进行分块学习,从而得到有效的纹理预测模型。测试阶段,输入人脸图像后,所提的方法根据人脸关键点进行自动纹理信息提取,进而合成缺失纹理。在网络人脸图片集上的实验结果表明,所提方法能有效进行人脸模型的全纹理重建。 四、人脸三维模型的应用 人脸三维重建的技术已经发展到一定阶段,其结合实际问题开发相关应用将成为研究人员关注的焦点,如影视动画、3D打印等。本文在重建三维人脸模型基础上,进一步研究了人脸模型的表情合成系统。该系统通过少数几个关键点的控制,利用拉普拉斯算子保持模型局部形状约束,从而实现人脸表情的自然变化。实验结果验证了该方法的有效和便携。以此为基础,本文还将算法部署到PC端和移动端,实现三维人脸重建技术的垮平台应用。