论文部分内容阅读
人脸作为人类的标志性特征,包含着极为丰富的个人信息,在医疗美容、影视娱乐和信息安防等领域都有着十分广泛的应用,随着近几年人工智能和深度学习的不断发展,三维人脸重建技术开始成为计算机视觉和图像处理领域中的重要研究课题。人脸的三维结构不局限于单一的人脸姿态和光照环境,能更好的描述特征信息,可操作性更强。虽然三维人脸重建技术在近几年得到了较大的发展,但是仍然存在许多限制因素约束着这一领域的发展。一方面,虽然使用复杂硬件设备能够完成高精度高真实感的三维人脸重建,但是硬件设备的使用场景限制较大、成本造价高、处理复杂不灵活,导致无法在实际应用中得到普及;另一方面,基于图像的三维人脸重建技术多数对输入图像的质量和数量要求较高,并且三维模拟效果不稳定。针对现有方法的不足,论文将从单视图图像转换、几何空间重建及面部细节重建三个方面,对精细化三维人脸重建展开研究,主要研究工作如下:(1)提出了一种基于生成式对抗网络的多损失图像转换方法(Multi-Loss Image Conversion Method based on GAN,MLICM-GAN)。该方法利用生成式对抗网络的图像生成能力,将二维人脸照片转化为人脸深度图和对应点的稠密映射图。为了更好的捕捉人脸信息,在训练生成器网络时使用改进的U-Net框架以及一个联合损失函数,使转换出来的图像具有更好的深度信息和边缘信息。实验结果表明,该方法能够有效的将输入二维人脸图像转换为深度图与稠密映射图。(2)为了将人脸图像从二维空间转换到三维空间,提出了一种改进的基于嵌入空间形变模型的三维人脸重建算法(Mixed Data Fitting and Improved Regular,MDF-IR)。该方法首先将人脸深度图转换为三角网格,然后基于该网格对模板人脸采用一种改进的非刚性配准算法。在迭代变形的过程中,采用混合数据拟合项以及改进的正则化项共同构成能量函数,进而得到包含面部表情以及褶皱凸起等面部五官粗细节的三维人脸平滑面部结构。实验结果表明,该方法基本还原了人脸的五官特征和面部表情的复现,纹理的映射完整。(3)为了得到更加精细化的三维人脸模型,在研究工作(2)的基础上设计了一种基于低通滤波的精细化三维人脸重建算法(Modified Normal Vector and Average Curvature for Detail Filling,MNVAC-DF)。该方法基于图像的低通滤波,将模型顶点沿着法向量方向发生位移,进而将承载着面部细节纹理的高频分量叠加到平滑人脸上,在更加细致的层面上完成皱纹等面部细节的重建。实验结果表明,该算法能够有效的对人脸的面部高频纹理进行恢复。与同类方法相比,该算法重建出的三维人脸模型与输入的人脸更加接近,不仅还原了图像拍摄的角度,对面部的纹理细节也做到了更加精细化的恢复。