随着计算机视觉的兴起,人脸相关的智能产品逐渐地走进了人们的生活当中,人脸分析及识别的研究意义和价值变得也更加的重要。要想做好人脸的分析和识别,最重要的是人脸的五官信息和轮廓信息,如何精准高效地让神经网络学习到人脸的表观和结构语意信息是人脸关键点检测和人脸重建的研究基础。现存大多数人脸关键点检测和重建的方法只侧重于人脸的表观信息而缺少对人脸空间结构信息的学习,使得神经网络在大姿态和遮挡的情况下很难推理出被遮挡部分的关键点。人脸关键点检测和人脸三维重建已经成为人类生活发展中不可或缺的两项任务。本文旨在提出一种新的深度学习模型用于解决人脸关键点检测和人脸重建,尤其是在无约束的自然环境下,头部的大姿态以及人脸的自遮挡都为人脸关键点检测和人脸重建带来了新的挑战。针对上述问题,本文提出了一种新的深度学习框架用来解决人脸在大姿态和遮挡情况下的人脸关键点检测和人脸三维重建。论文的主要工作如下:1.针对在无约束的自然环境下,即头部的大姿态自遮挡或者遮挡等问题,本文提出了向量图结构约束推理网络来推理出人脸的几何结构信息,充分挖掘人脸的表观信息和结构语意信息,使网络在大姿态和遮挡的情况下,也可以通过结构信息来推断出被遮挡的部位不会仅仅停留在表观语意信息的学习。2.本文提出了向量图结构推理网络损失函数,它包括距离图结构推理损失函数和方向图结构推理损失函数。距离图结构损失函数来约束人脸各个组件之间的相对距离;方向图结构损失函数则约束人脸各个组件之间的相对方位,从而使神经网络更有效地提取人脸的空间结构信息。3.本文引入了 DAMD-Net网络作为基础网络,DAMD-Net是一种双注意机制和一种高效的端到端三维人脸对准框架。通过深度可分割卷积、紧密连接卷积和轻量级通道注意机制,建立了稳定的网络模型。通过通道和空间注意力机制将提取人脸重要的表观和结构语意信息而忽略次要的语意信息进而降低冗余信息,提高网络回归的精度。4.对于训练,本文提出了一个权重掩码的方式,可以将不同的权重分配给全局和局部距离图结构并计算加权损失。5.设计了一个人脸关键点检测和人脸重建实验系统,对本文的算法进行了集成,使得普通用户可以登录此平台进行人脸关键点检测和人脸重建。