近年来,随着深度学习的发展及非限定条件下的人脸数据采集,人脸识别效果日益完善。在日常生活中,人脸识别技术也得到了广泛的应用,如门禁系统,扫脸支付等。但在非限定条件下,人脸识别依旧存在着一些问题,有研究表明:相比于近正脸的人脸识别效果,侧脸的识别显得不尽人意。其中有两个因素导致这一现象:一方面,人脸的姿态偏转会引起自遮挡和非线性面部扭曲等现象,增大了模型对侧脸图像提取特征的难度。另一方面,对于非限定条件下的数据集采集,大角度偏转的人脸图像数量通常远少于小角度偏转的人脸图像,这种数据分布不均匀性导致了神经网络对近正脸图像的偏好。针对上述问题,本文从特征提取和人脸生成两个角度展开人脸姿态鲁棒性算法研究,主要研究工作和创新如下:1.本论文探究了人脸训练集中近正脸数据和侧脸数据不均衡分布对网络模型的影响,并设计一种对称孪生网络结构平衡模型对近正脸数据与侧脸数据的偏好。设计的网络也能够获取姿态鲁棒性特征。其中对称孪生网络结构由两部分组成:特征一致性学习子模块和身份一致性学习子模块。特征一致性学习子模块针对所有训练数据,同时结合对比学习思想,采用特征一致性损失增强学习获取判别性特征。身份一致性学习子模块针对侧脸数据,并采用身份一致性损失增强判别性特征的学习。两个模块的协同训练帮助整个网络克服训练集中数据分布不均匀现象。提出的方法能够在Multi PIE、IJB-A和CFP人脸数据上获取良好的人脸识别效果,同时本文通过特征可视化和消融等实验验证提出方法的有效性。2.本论文结合特征提取器和生成对抗网络实现任意角度的人脸转正。本文将网络提取的人脸特征送入生成对抗网络模型,并利用正脸图像作为指导信息,将侧脸图像映射至正脸图像。正脸图像可以弥补自遮挡等不足,进而增强神经网络对于人脸图像的特征提取,同时可以更加直观的从视觉上判断图像的类别。最后通过人脸生成实验和人脸识别实验验证了该方法的有效性。