论文部分内容阅读
【摘 要】随着时代的快速发展，人们愈发关注自己的皮肤健康状况，如何客观、便捷地评价人脸肤质情况成了人们关心的问题，而便携式的肤质评测系统就极具前景。该项目建立皮肤肤质检测系统，使用CelebA人脸数据集，利用Dlib库进行人脸分割后，使用基于改进的VGG16的神经网络对进一步分割成块的皮肤图片进行肌龄、出油情况、细纹、痘痘、黑头、毛孔等问题的评估。同时刻画面部特征，根据自身特征加载相应的五官描述。最终使用手机端APP实现人机交互。
【关键词】人脸皮肤肤质检测;VGG16神经网络
1.问题背景
随着时代的发展，人们越来越重视皮肤保养，如何更好地保养皮肤，已经成为众多人关注的问题。针对目前市场上所存在的护肤APP都有一个共同的痛点，给用户推荐各类的化妆品，虽然可以和已用过的用户进行交流讨论，但是很多用户也还是不太知道用在自己身上的效果，例如某一个口红色号在别人身上的确很好看，自己买来用可能会显得比较老气之类的，不太适合自己。因此，我们在此基础上再次进行改进与开发。
2.模型建立
2.1模型综述
传统的皮肤肤质检测算法有：基于纹理特征、颜色特征和形状特征的相应算法，它们各有优缺，而深度学习算法在人脸分割方面的实现效果显著，可迁移地将其应用至本项目，本项目采用VGG16的神经网络算法进行皮肤识别，其训练及识别流程如图1。
利用Dlib库对人脸进行不规则分割，先用dlib等打点工具把人脸最外层的landmark点打出来，然后利用opencv的convexhull得到凸包然后就可以抠出人脸区域，得到掩模后，将mask作为α通道，来控制图片区域的透明度，得到4通道的人脸分割图片。然后将该图片进行人脸对齐，计算两眼连线与水平线的夹角，然后通过角度得到对应的旋转矩阵。对图片进行相应的变换。将人脸分割并对其后的图片划分成一定数量的小块，该项目中采取100等分，将皮肤小块放入VGG16神经网络进行识别，给出判定结果。
2.2 VGG16基本模型
本项目使用基于卷积神经网络的目标检测算法。该算法主要利用卷积神经网络提取图像特征。其对于图像处理有极强的鲁棒性和泛化能力。与传统的肤质检测算法相比，卷积神经网络算法能够更好地描述目标特征。本项目采用VGG16网络结构，利用ReLu函数进行线性变换。VGG16网络层数为16，由13个卷积层和3个全连接层组成。该方法结构相对简单，在图像识别中具有很高的准确性。因此本系统将VGG16网络作为检测模型。
输入一幅100*100皮肤图像，通过卷积层使用滤波器进行卷积，为防止梯度消失的问题，使用了ReLu函数进行激活操作，保持模型的收敛速度维持在稳定状态，然后通过池化层对特征进行降维。经过一系列卷积、非线性和池化操作，特征被发送到全连接层。全连接层的前两层有4096个维度，最后一层维度就是皮肤瑕疵类型。
2.3基于VGG16的肤质检测系统设计
本项目调整VGG16网络模型中的训练集并对其部分参数进行调整，以实现其更优更便捷地完成人脸肤质检测。
（1）本项目模型训练集为celebA开源人脸图像集，方便数据的收集与采用。
（2）本项目是将1630* 1220大小的人脸皮肤图像切割成100个163* 122大小的小图像块的，对小图像块进行分类。在预处理时，将小图像块缩小到100*100大小，VGG16网络基本模型支持224*224大小的图像，所以，本项目将原VGG 16网络的输入层改为支持小图像块大小。
（3）本项目需要识别的目标类别为肌龄、出油情况、细纹、痘痘、黑头、毛孔，共6类因此将表示类别数值的“classes”取值为6。
2.4手机端APP设计
基于该模型设计并实现了手机端应用软件，采用自底向上的开发方式，从数据库出发，便于控制和管理项目整体。采用前后端分离技术，针对前端：本项目选用vant作为框架，简单构建优化，采用NPM管理包，利用node+webpack打包，之后使用JS/CSS模块化。针对后端：首先分析业务逻辑，建立MySQL数据库。后端框架采用springboot集成mybatis。接口采用Restful风格，Dao层和PO层使用mybatis逆向工程自动生成。接口文档采用swagger技術自动生成。开发完成后打成jar包发布在服务器上。加上拍照试妆的功能，能够帮助用户更加便利地使用该APP实现更全面的功能。
3.模型结果
针对当前不同年龄段的人需要测肤以及保养皮肤的情况，支持用户通过手机自拍即可全面了解自己的肤质情况。
皮肤分析分为肌龄、出油情况、细纹、痘痘、黑头、毛孔。出油情况的评判标准为毛孔大小及数量，且可给出综合得分情况。AI识别的准确率已经可以高达95%。
面部特征可智能识别性别，根据自身特征加载五官描述。
4.模型评价
VGG16神经网络模型对于人脸皮肤瑕疵的有很好的检测效果。AI识别的准确率已经可以达到95%。基于手机端APP极大地提高了项目的便携性，项目推广性强，适用性广。但是由于选取的训练数据集的皮肤瑕疵覆盖情况不全面，较真实皮肤情况的复杂性而言，无法完全显示出某些瑕疵情况所有的表现形式，导致模型检测效果会有一定程度的偏差;选取的肌肤刻画指标的维度有限，最终呈现的皮肤瑕疵检测的完整性一般。
参考文献
[1]张景源. 便携式人脸肤质检测与评价系统的设计与实现[D].武汉理工大学，2015.
[2]刘兆丰.Dlib在人脸识别技术中的运用[J].电子制作，2020（21）：39-41+7.
[3]胡伏原，李林燕，尚欣茹，沈军宇，戴永良.基于卷积神经网络的目标检测算法综述[J].苏州科技大学学报（自然科学版），2020，37（02）：1-10+25.
[4] Liu Z， Luo P， Wang X， et al. Deep learning face attributes in the wild[C]. Proceedings of the IEEE international conference on computer vision. 2015： 3730-3738.https：//arxiv.org/abs/1411.7766.
[5]黄舒婷. 人脸皮肤瑕疵检测与评价系统[D].西安电子科技大学，2019.
基金项目：大创名称：基于改进VGG16神经网络和DeepID的AI护肤化妆系统 编号：202010058045，该文章属于大创项目资助。
天津工业大学计算机科学与技术学院 天津 300000
【关键词】人脸皮肤肤质检测;VGG16神经网络
1.问题背景
随着时代的发展，人们越来越重视皮肤保养，如何更好地保养皮肤，已经成为众多人关注的问题。针对目前市场上所存在的护肤APP都有一个共同的痛点，给用户推荐各类的化妆品，虽然可以和已用过的用户进行交流讨论，但是很多用户也还是不太知道用在自己身上的效果，例如某一个口红色号在别人身上的确很好看，自己买来用可能会显得比较老气之类的，不太适合自己。因此，我们在此基础上再次进行改进与开发。
2.模型建立
2.1模型综述
传统的皮肤肤质检测算法有：基于纹理特征、颜色特征和形状特征的相应算法，它们各有优缺，而深度学习算法在人脸分割方面的实现效果显著，可迁移地将其应用至本项目，本项目采用VGG16的神经网络算法进行皮肤识别，其训练及识别流程如图1。
利用Dlib库对人脸进行不规则分割，先用dlib等打点工具把人脸最外层的landmark点打出来，然后利用opencv的convexhull得到凸包然后就可以抠出人脸区域，得到掩模后，将mask作为α通道，来控制图片区域的透明度，得到4通道的人脸分割图片。然后将该图片进行人脸对齐，计算两眼连线与水平线的夹角，然后通过角度得到对应的旋转矩阵。对图片进行相应的变换。将人脸分割并对其后的图片划分成一定数量的小块，该项目中采取100等分，将皮肤小块放入VGG16神经网络进行识别，给出判定结果。
2.2 VGG16基本模型
本项目使用基于卷积神经网络的目标检测算法。该算法主要利用卷积神经网络提取图像特征。其对于图像处理有极强的鲁棒性和泛化能力。与传统的肤质检测算法相比，卷积神经网络算法能够更好地描述目标特征。本项目采用VGG16网络结构，利用ReLu函数进行线性变换。VGG16网络层数为16，由13个卷积层和3个全连接层组成。该方法结构相对简单，在图像识别中具有很高的准确性。因此本系统将VGG16网络作为检测模型。
输入一幅100*100皮肤图像，通过卷积层使用滤波器进行卷积，为防止梯度消失的问题，使用了ReLu函数进行激活操作，保持模型的收敛速度维持在稳定状态，然后通过池化层对特征进行降维。经过一系列卷积、非线性和池化操作，特征被发送到全连接层。全连接层的前两层有4096个维度，最后一层维度就是皮肤瑕疵类型。
2.3基于VGG16的肤质检测系统设计
本项目调整VGG16网络模型中的训练集并对其部分参数进行调整，以实现其更优更便捷地完成人脸肤质检测。
（1）本项目模型训练集为celebA开源人脸图像集，方便数据的收集与采用。
（2）本项目是将1630* 1220大小的人脸皮肤图像切割成100个163* 122大小的小图像块的，对小图像块进行分类。在预处理时，将小图像块缩小到100*100大小，VGG16网络基本模型支持224*224大小的图像，所以，本项目将原VGG 16网络的输入层改为支持小图像块大小。
（3）本项目需要识别的目标类别为肌龄、出油情况、细纹、痘痘、黑头、毛孔，共6类因此将表示类别数值的“classes”取值为6。
2.4手机端APP设计
基于该模型设计并实现了手机端应用软件，采用自底向上的开发方式，从数据库出发，便于控制和管理项目整体。采用前后端分离技术，针对前端：本项目选用vant作为框架，简单构建优化，采用NPM管理包，利用node+webpack打包，之后使用JS/CSS模块化。针对后端：首先分析业务逻辑，建立MySQL数据库。后端框架采用springboot集成mybatis。接口采用Restful风格，Dao层和PO层使用mybatis逆向工程自动生成。接口文档采用swagger技術自动生成。开发完成后打成jar包发布在服务器上。加上拍照试妆的功能，能够帮助用户更加便利地使用该APP实现更全面的功能。
3.模型结果
针对当前不同年龄段的人需要测肤以及保养皮肤的情况，支持用户通过手机自拍即可全面了解自己的肤质情况。
皮肤分析分为肌龄、出油情况、细纹、痘痘、黑头、毛孔。出油情况的评判标准为毛孔大小及数量，且可给出综合得分情况。AI识别的准确率已经可以高达95%。
面部特征可智能识别性别，根据自身特征加载五官描述。
4.模型评价
VGG16神经网络模型对于人脸皮肤瑕疵的有很好的检测效果。AI识别的准确率已经可以达到95%。基于手机端APP极大地提高了项目的便携性，项目推广性强，适用性广。但是由于选取的训练数据集的皮肤瑕疵覆盖情况不全面，较真实皮肤情况的复杂性而言，无法完全显示出某些瑕疵情况所有的表现形式，导致模型检测效果会有一定程度的偏差;选取的肌肤刻画指标的维度有限，最终呈现的皮肤瑕疵检测的完整性一般。
参考文献
[1]张景源. 便携式人脸肤质检测与评价系统的设计与实现[D].武汉理工大学，2015.
[2]刘兆丰.Dlib在人脸识别技术中的运用[J].电子制作，2020（21）：39-41+7.
[3]胡伏原，李林燕，尚欣茹，沈军宇，戴永良.基于卷积神经网络的目标检测算法综述[J].苏州科技大学学报（自然科学版），2020，37（02）：1-10+25.
[4] Liu Z， Luo P， Wang X， et al. Deep learning face attributes in the wild[C]. Proceedings of the IEEE international conference on computer vision. 2015： 3730-3738.https：//arxiv.org/abs/1411.7766.
[5]黄舒婷. 人脸皮肤瑕疵检测与评价系统[D].西安电子科技大学，2019.
基金项目：大创名称：基于改进VGG16神经网络和DeepID的AI护肤化妆系统 编号：202010058045，该文章属于大创项目资助。
天津工业大学计算机科学与技术学院 天津 300000