论文部分内容阅读
人脸美丽预测是研究如何让计算机具有与人类相似的人脸美丽判断或预测能力。目前,人脸美丽预测存在数据样本少、评价指标不明确、训练深度网络容易过拟合等问题。多任务迁移学习(Multi-task Transfer Learning,MTTL)利用源域和相关辅助任务的额外信息,提高主任务性能。本文提出基于多任务迁移学习的人脸美丽预测研究,主要研究内容如下:(1)人脸美丽预测方法多采用单任务学习,忽略了相关任务的影响;多任务学习(Multi-task Learning,MTL)利用相关任务的辅助信息提高主任务性能。因此,本文将人脸美丽预测作为主任务、性别识别作为辅助任务,依托VGG16、VGG19和Resnet50网络,构建了多任务学习人脸美丽预测模型,并对比了不同模型人脸美丽预测结果。实验结果表明,性别识别辅助任务为人脸美丽预测主任务提供了更丰富的浅层特征,多任务学习的人脸美丽预测准确率优于单任务学习。(2)针对人脸美丽预测数据量较小、训练深度网络易过拟合的问题,本文通过构建多任务迁移学习人脸美丽预测模型,结合人脸美丽预测和性别识别,利用在Imagenet上预训练的模型参数实现多任务迁移学习。为保证多任务训练时可正常迁移参数,本文提出一种多输入多任务人脸美丽网络(Multi-input Multi-task Beauty Network,2M BeautyNet),采用多任务损失权重自学习策略调节任务之间的权重,并将随机森林代替Softmax分类器进一步提升性能。基于大规模亚洲人脸美丽数据库(Large Scale Asia Facial Beauty Database,LSAFBD)和SCUT-FBP5500数据库的实验结果表明,该方法在LSAFBD人脸美丽数据库中取得了较好效果,人脸美丽预测的准确率达到68.23%,且所提2M BeautyNet网络适用于不同数据库的多输入情况。(3)知识蒸馏可将教师模型的部分知识蒸馏到学生模型,降低模型复杂性,减少参数量。由于2M BeautyNet网络参数量多,多任务迁移学习人脸美丽预测模型大,本文将多任务迁移学习与知识蒸馏相结合,用于人脸美丽预测。首先,构建多任务教师模型与多任务学生模型,其中,多任务教师模型采用参数量多的2M BeautyNet网络,多任务学生模型采用参数量少的CNN-5、Vgg-11和LightCNN-9浅层网络。其次,训练多任务教师模型并计算其软目标。最后,结合多任务教师模型的软目标和学生模型的软、硬目标进行知识蒸馏。实验结果表明,虽然多任务教师模型在人脸美丽预测任务中取得68.23%的准确率,但其结构较复杂,参数量较多,达14793K;而多任务学生模型通过知识蒸馏后分类准确率虽为67.39%,但其结构更简单、参数量更少,仅1366K。