人脸美丽吸引力长期以来受到了来自社会科学和自然科学不同领域的关注和研究。心理学上的研究表明人脸吸引力表征与评价具有某种的数据驱动性与客观性,这为机器实现人脸吸引力的智能评价提供了可能性。近年来,随着机器学习尤其是深度学习的发展,人脸美丽吸引力受到了许多学者的关注,人脸吸引力评价系统也逐渐在辅助医疗美容、社交网站的个性化推荐和人脸美化系统等不同的场景中得到广泛应用。本课题将从不同的角度来研究人脸美丽吸引力评价的特征学习和预测模型,构建智能化人脸吸引力评价系统。具体来说,针对传统机器学习方法中特征工程与分类器分阶段优化的不足,人脸吸引力标准数据库评价范式单一,人脸吸引力评价方法缺乏相对审美机制、人脸属性信息的引导、以及个性化评价等因素的建模,本文基于深度学习方法,从构建人脸美丽数据库、人脸美丽评价算法以及个性化人脸美丽评价算法这几个方向进行展开研究,从而实现了让机器具有和人类一样的审美感知能力。本文的主要工作和创新点主要包括以下几个方面:(1)针对目前缺乏规模较大的、属性多样的人脸美丽数据库的难题,本文构建了一个多范式的人脸美丽吸引力数据库(SCUT-FBP5500数据库)。更大规模的数据库有助于将深度学习更好地引入人脸美丽相关研究领域,从而推动本学科的进一步发展。本文后续的研究工作主要是基于该数据库进行展开。这个数据库收集到了5500张具有不同属性的人脸图片,还邀请了 60个志愿者对图片标注了如美丽等级和人脸特征点等信息。根据这些多范式的信息可以实现不同范式的人脸美丽评价,比如预测不同属性的人脸美丽分数或者分数分布等等。本文通过统计这些数据的分数分布、标准差、自相关性等性质,证明了这些数据是可靠的;并通过人脸美丽评价的基准实验证明了这个数据库是可预测和可学习的。(2)针对人们审美过程中存在的相对审美机制,本文提出了一种基于排序引导回归的人脸美丽评价算法。目前已有的算法都是将人脸美丽评价定义成单一的分类或者回归任务,忽略了人们审美过程中所依赖的排序信息从而导致了任务学习的效果不够好。为此,本文将人脸美丽评价重新定义为一个由相对排序引导的人脸美丽回归任务,并构建了一个排序引导回归的卷积神经网络(R3CNN),这个类孪生网络结构的模型可以同时实现排序与回归任务。同时,根据R3CNN的性质提出了一系列特殊的训练方式,包括成对图像采样机制、集成损失函数和级联优化方式。最后,实验结果表明R3CNN可以在普通卷积神经网络模型的基础上继续提升人脸美丽预测性能,而且一系列消融实验也证明了这种训练方式的必要性与有效性。(3)针对人脸属性对美丽吸引力的影响,本文提出了一种属性感知的人脸美丽动态特征学习的方法。这种动态的特征学习方式可以将属性信息有效地融入人脸特征表达,从而实现更高精度的人脸美丽评价,并且对于其他的人脸属性识别任务也具有借鉴意义。本文提出的动态特征学习包括两种方式,分别是属性感知的动态卷积和属性感知的批归一化,并且还根据这两者的结合构建了一个属性感知的动态特征学习框架。实验结果分别证明了属性感知的动态卷积和属性感知的批归一化对于人脸美丽评价均具有提升效果,而且,这二者的结合——动态特征学习框架不仅能够在原来的基础上继续提升效果,还能够使模型的优化过程更加稳定。(4)针对个性化推荐的现实需求和应用场景,本文首次从元学习的角度对个性化人脸美丽评价进行定义和建模,其目标是训练一个可以预测不同用户的审美偏好的人脸美丽评价模型(也称之为个性化人脸美丽评价模型),这对于一些如社交网站的场景具有很强的应用价值。本文将个性化人脸美丽评价具体定义成基于元学习的分类或回归任务。当定义为分类任务时,本文构建了基于原型网络的分类模型,从而在不同的用户数据上进行分类预测;当定义为回归任务时,本文构建了一个基于微调的回归模型,从而实现个性化人脸美丽回归。实验在一个全新的个性化人脸美丽数据集SCUT-PFBP上进行,实验结果证明了个性化人脸美丽评价这个任务具有可行性和可学习性。