论文部分内容阅读
随着人工智能、大数据以及5G通信等新技术产业的不断出现和快速发展,智能化成为社会发展的主要趋势,人工智能的相关技术成为目前学术界和产业界最活跃的研究热点。人工智能的发展主要得益于深度学习相关算法的研究与应用,体现在图像检测、识别、语义分割等方面。作为图像处理中非常重要的一个研究方向,图像修复是在具有缺损的图像上,利用图像整体的信息推断并生成缺损区域的像素,从而恢复整体图像的完整性。目前,绝大多数基于机器学习的图像修复算法,都是在生成对抗网络(GAN,Generative Adversarial Nets)基础上,设计新的网络结构以及损失函数,利用编解码的方式实现图像的生成与填充。相比于传统基于数学公式进行填充的算法,基于卷积神经网络的算法在语义连续性上具有明显的优势,但在生成图像的清晰度上依旧有待提高。基于 DCGAN(Deep Convolution Generative Adversarial Nets),本文略作改进,设计了 PMGAN(Patch-Match Generative Adversarial Nets)。算法引入了两阶的生成网络,并结合EM(Expection Maximization)算法进行特征替换。第一阶生成网络负责图像的初步生成,主要目的是获得完整的语义信息,本文采用基于图像编解码的原理设计网络结构,提高模型训练的稳定性。第二阶生成网络负责图像细节构建,目的在于获得清晰的图像,本文引入EM算法进行特征替换,融合清晰纹理所对应的特征信息,同时利用分离卷积设计并行的卷积层,在解码过程中引入更丰富的细节信息;损失函数方面,除绝对值损失以及基于DCGAN提供的交叉熵损失外,本文利用VGG16引入了感知损失和风格损失,利用Opencv进行边缘提取引入边缘损失等,辅助清晰度的进一步提升。在 IS(Inception Score)、FID(Frechet Inception Distance)和PSNR(Peak Signal to Noise Ratio)衡量方式下,测试得到的不规则空洞输入下数值分别为 2.248(0.382)、19.091、36.182,相比于 GLGAN(Global and Local Generative Adversarial Nets)和 CAGAN(Contextual Attention Generative Adversarial Nets),本文算法在PSNR指标上分别获得了 3.33%和2.7%的提升、在FID指标上分别获得了 59.54%和35.59%的提升。在处理速度上,在Intel i7-7700k计算环境下,输入为256*256的图像时,本文算法的平均处理时间为0.58s,相比于非深度学习的Anupam和PatchMatch算法,平均处理时间获得了 6.09倍和86.43倍的提升;在i7-7700K+GTX 1070的计算环境下,本文算法的平均处理时间为129.96ms,相较于同为深度学习算法的GLGAN和CAGAN,平均速度分别提升了1.25倍和4.9倍。基于图像修复算法,本文搭建了由安卓客户端和服务器端组成的自动图像修复系统,完成景观照中人物的自动识别及去除。在自动图像修复系统中,增加的辅助算法包括图像检测算法和图像分割算法。图像检测算法的目的在于为人物打上独立的标签,算法将特征层均分为方格;基于方格,检测默认大小的检测框内的特征,判定是否存在目标;算法通过不同抽象层度的检测,实现不同大小的实体标注,并通过检测框的规格计算最终检测框大小。图像分割的目的则是为修复算法提供Mask;算法通过编解码结构以及分离卷积的引入,实现图像在像素点级别的分类;本文同时引入边缘膨胀的方式扩大目标区域,避免实体边缘的残留,改善生成效果。本文通过检测算法、分割算法和修复算法协同工作,提高了系统的自动化和智能化的处理能力;与移动平台的协同设计,使得算法具有良好的用户体验,具有较大的实用性。