论文部分内容阅读
在刑事侦查过程中,素描画像是通缉、搜查、捉拿犯罪嫌疑人的主要技术手段之一。人脸照片-素描转换的目的是将提供的素描画像(或人脸照片)合成高质量的人脸照片(或素描),从而便于与照片(或素描)数据库中的图像进行匹配,检索出待识别人的身份或缩小待识别范围。为了提高人脸照片-素描转换过程中图像的合成质量,为进一步提高人脸识别准确率奠定基础,本文主要做了以下工作:
(1)对不同的损失函数的作用进行了分析,并通过实验验证了不同配置损失函数对残差生成对抗网络模型性能的影响。基于实验分析,本文采用对抗损失和感知损失的组合作为模型训练的基础损失函数配置,并在残差生成对抗网络的基础上针对不同的问题对其进行改进。
(2)提出一种基于自注意力残差学习的人脸素描-照片转换算法。该方法首先利用下采样块来提取输入图像的浅层特征;其次,使用嵌入自注意力机制的残差块对图像的深层特征进行编码,来自适应加权特征统计并有选择地强调重要特征信息;最后,应用上采样块重建自注意力特征,并且通过全局残差机制来进一步增强相关特征,生成与输入图像分辨率一致的最终人脸素描或人脸照片图像。同时,采用多尺度梯度技术在保证合成图像质量的同时,也避免了因生成对抗网络在训练过程中可能存在的不稳定性而对模型造成的影响。实验证明本方法无论在人脸照片合成素描任务还是人脸素描合成照片任务中,均可以提高目标域图像的合成质量且在特征相似指数、结构相似指数和人脸识别准确率方面表现优越。
(3)提出一种基于无监督学习的风格编码的人脸素描-照片转换算法。该方法首先应用内容编码器将内容图像(人脸照片)编码为内容特征向量,同时由风格编码器对风格图像(素描画像)进行编码,经过一系列的池化和全连接计算得到风格参数,最后将风格参数加入到解码瓶颈块中,经过解码器重建得到目标风格图像(合成素描画像)。此外,由于内容和风格空间的分解,该算法的框架执行风格引导的图像转换,其中转换输出的风格由用户提供的目标域中的示例图像控制。通过与多种素描人脸合成方法的合成结果对比验证了本方法的有效性。
(1)对不同的损失函数的作用进行了分析,并通过实验验证了不同配置损失函数对残差生成对抗网络模型性能的影响。基于实验分析,本文采用对抗损失和感知损失的组合作为模型训练的基础损失函数配置,并在残差生成对抗网络的基础上针对不同的问题对其进行改进。
(2)提出一种基于自注意力残差学习的人脸素描-照片转换算法。该方法首先利用下采样块来提取输入图像的浅层特征;其次,使用嵌入自注意力机制的残差块对图像的深层特征进行编码,来自适应加权特征统计并有选择地强调重要特征信息;最后,应用上采样块重建自注意力特征,并且通过全局残差机制来进一步增强相关特征,生成与输入图像分辨率一致的最终人脸素描或人脸照片图像。同时,采用多尺度梯度技术在保证合成图像质量的同时,也避免了因生成对抗网络在训练过程中可能存在的不稳定性而对模型造成的影响。实验证明本方法无论在人脸照片合成素描任务还是人脸素描合成照片任务中,均可以提高目标域图像的合成质量且在特征相似指数、结构相似指数和人脸识别准确率方面表现优越。
(3)提出一种基于无监督学习的风格编码的人脸素描-照片转换算法。该方法首先应用内容编码器将内容图像(人脸照片)编码为内容特征向量,同时由风格编码器对风格图像(素描画像)进行编码,经过一系列的池化和全连接计算得到风格参数,最后将风格参数加入到解码瓶颈块中,经过解码器重建得到目标风格图像(合成素描画像)。此外,由于内容和风格空间的分解,该算法的框架执行风格引导的图像转换,其中转换输出的风格由用户提供的目标域中的示例图像控制。通过与多种素描人脸合成方法的合成结果对比验证了本方法的有效性。