论文部分内容阅读
现阶段图像去反光已成为人工智能领域的研究热点,借助机器学习和深度学习算法可以对图片中的反光效果进行有效消除,方便且高效,但仍会面临诸多难点。图像中的反射层信息与背景层信息复杂耦合,分离困难;多张输入图像的相互比对用以剥离反射层和清晰的背景层,但多张图像的处理费时费力;去除反光后的图像无法保留原有信息的高频细节,丢失相关特征信息。因此,能否从单个图像中消除反射,更好恢复图像中的视觉内容尤为关键。本文针对以上去除反光任务中遇到的问题,通过分析背景图像、反射层图像和混有反射的原始输入图像的特征性差异,利用深度学习算法进行特征提取,进而图像分类,最后达到对输入图像的反射消除。主要工作如下:提出基于残差学习的单图像反射消除框架,完成了输入图像与残差图像的一一映射关系,对比相应的特征信息,得出反射层与背景层的差异性,最大程度地完成图像去反光任务。提出基于深度记忆的学习网络,类比于人脑的突触结构,将先前状态与当前状态相关联,形成短期记忆模式,多个短期记忆模式构成长期记忆单元,在去除反光的同时保留原有的真实细节。实验证明两种框架均可充分地利用特征信息,有效地去除图像中的反光效果。采用生成对抗网络进行对抗训练,生成器中设计深度残差块以及深度记忆单元,鉴别器中堆叠卷积层归一化层,通过对输入图像的分布特征进行建模,完成生成器与鉴别器之间的对抗学习,增强了输出残差图像的图像效果,进一步提供有效的梯度信息,以反馈的形式指导整个模型更好地学习图像特征,并连贯地生成更逼真更符合人类视觉效果的图像纹理细节。针对整个深度学习网络的目标函数,设计为多部分平衡损失函数,预训练的VGG-19模型提取图像特征,利用1损失函数衡量构成感知损失函数;内容损失函数可度量在前半部分网络训练过程中,目标图像和生成图像之间的特征化差异;对抗损失函数处理图像中的纹理细节;梯度损失函数在梯度域中最小化预测反射层和背景层之间的相关性。经实验证明,多部分平衡损失函数有效地加快了网络的收敛,且本文图像评价指标峰值信噪比(PSNR)达到24.84,结构相似性(SSIM)值为0.892,均取得了良好效果。