随着计算机视觉的蓬勃发展,涉及人脸的终端产品逐渐走进人们的视野当中,与人脸相关的研究也越来越有价值。在对人脸的研究中,最重要的是人脸的边缘轮廓信息和五官局部信息,如何高精度、高效率地让神经网络学习到人脸的轮廓信息和五官信息是三维人脸重建和密集人脸关键点对齐的重要前提。目前大多数人脸重建和密集人脸关键点对齐方法只侧重于人脸的全局信息而缺乏对人脸局部信息的学习,使得神经网络在面部偏转姿态较大和自遮挡的情况下难以预测出被遮挡部分的关键点并且重建结果较缺乏真实性。在智能化产品驱动的今天,人脸重建和密集的人脸关键点对齐已成为缺一不可的两项关键任务。然而,在复杂多变的自然环境中,头部偏转角度较大导致的面部区域被遮挡或者因眼镜、头发等带来的自遮挡问题,对人脸重建和密集的人脸关键点对齐带来了挑战。针对这一挑战性问题,本文提出两种新颖的深度学习模型旨在解决人脸在大姿态和遮挡下的人脸重建和密集的人脸关键点对齐问题。论文的主要工作如下:1.本文首先提出了多路径全局鉴别性特征和局部细节性特征互补性信息聚合的方法,充分挖掘全局信息和局部信息各自的特征优势。通过全局特征信息进行粗面部几何形状的预测,再使用注意力变换融合机制将局部细节特征初步聚合;最后,利用聚合后局部特征的细节性优势弥补全局特征的不足之处,使得网络在面部偏转角度较大的大姿态和自遮挡情况下重建出来的面部形状更加平滑、真实。2.为进一步优化上述方法,本文又提出了一种Shuffle-self的方法,将全局信息整合进更为复杂、精细的局部信息中。此外,还充分利用了将位置信息嵌入到通道注意力中的坐标注意力机制的优势,利用在两种不同空间方向上特征聚合的方式,在保留精确位置的同时捕获全局和局部块之间的依赖关系,增强网络对感性趣区域的学习,以此提高网络回归的精度,达到更加高效、精确的三维面部重建的目的。3.为紧密贴合上述两种方法的算法思想,本文分别使用了特征金字塔卷积c Pyram idal Convolution)和效率更高的RepVGG网络作为基础网络。Pyramidal Convolution通过在每次卷积时利用大小不相等的卷积核和分组形式的通道数量扩充其感受野,对全局信息进行多尺度特征提取的同时又能捕获与局部信息之间的相关性。RepVGG是一种简单而强大的多分支架构网络,采用重新参数化的方式,将网络的训练过程和推理时间进行解耦来实现精度和速度的完美兼得。4.设计并实现了一个三维人脸重建和面部关键点对齐的系统,对本文所述的算法进行了系统化展示,普通用户可以登录此系统进行相应操作,使得本文提出的算法得到了实际的应用。