人脸的美在社会活动中起着重要的作用;影响了数字娱乐、模特和表演等职业、以及个人职业前景。人们对美丽的追求和向往吸引了各领域学者对人脸美丽预测的研究。但是,传统的人脸美丽预测方法在特征提取上耗费了大量时间,而且预测效果不理想。目前,研究者们通过深度学习方法,采用卷积神经网络(Convolution Neural Network,CNN)替代手工提取特征,让网络智能地提取人脸美丽特征,从而为机器自动进行人脸美丽预测提供了可能。本文提出基于多特征融合的人脸美丽预测研究,采用多特征融合代替传统的单一特征来增强网络的预测能力。本文主要研究内容如下:(1)采用一种融合几何特征与PCANet网络的人脸美丽预测模型。将PCANet网络提取的直方图特征与几何特征进行融合,得到更具鲁棒性和区分度的特征,最后通过SVM回归器和随机森林回归器进行5折交叉验证实验。实验结果表明,PCANet网络融合几何特征后的预测性能优于未进行特征融合的预测性能,说明融合的几何特征能有效提高人脸美丽预测结果。(2)采用一种结合局部二值模式(Local Binary Pattern,LBP)与卷积神经网络的人脸美丽预测新方法。LBP算子提取的人脸图像具有局部纹理特征和光照不变性,通过在CNN网络中加入LBP纹理图像,学习LBP图像的局部结构特征,使网络提取更具结构性和层次性的人脸美学特征。在输入图像进行通道融合后,使用1×1卷积层对通道特征图进行线性组合,实现网络跨通道的交互与信息整合。实验结果表明,在CNN网络中融入LBP纹理图像,能有效提升人脸美丽预测结果。(3)采用一种融合多层卷积特征的人脸美丽预测模型。与传统卷积神经网络不同,多层卷积特征融合的卷积神经网络将多个浅层特征、中间层特征与深层特征进行融合,来增强人脸美丽特征的提取过程;不仅考虑了深层特征的抽象语义信息,而且考虑了浅层特征的局部细节信息,使得人脸美丽预测更加准确。实验结果表明,融合浅层、深层卷积特征的模型优于单层模型。(4)在多层卷积特征融合模型中嵌入Sequeeze and Excitation(SE)模块,该模块通过建模通道之间具有的相互依赖关系,能自适应地重新校准通道式的特征响应,从全局信息出发使网络有效选择放大有价值的特征通道,并且抑制无用的特征通道,增强网络的表征能力。实验结果表明,所提方法在大规模人脸美丽数据库(Large Scale Facial Beauty Database,LSFBD)中的表现优于现有方法。