论文部分内容阅读
遮挡目标识别在人工智能领域扮演着极其重要的角色,而解决遮挡目标识别问题中最关键的一步是图像修复。图像修复是一项艰巨的任务,是图像研究领域中能够改善图像质量的一种处理技术,它需要根据图像已有数据去还原图像中损坏的区域。在实际的图像获取中,由于多种受损噪声,光线强暗及实物遮挡等因素,造成了图片质量严重下降。因此图像修复研究意义极为重要。生成对抗网络(Generative Adversarial Networks,GAN)是一种借用对抗思想提出的神经网络架构,是人工智能时代最有发展前景的无监督学习模型之一。本文借助GAN的对抗思想,设计受损图像的修复方法,融合挤压激励块(Squeeze-and-Excitation Networks,SENet)和自注意力机制(Self-Attentive,SA)在特征提取上的优势,对图像修复的细节进行探究,使得在整个图像修复的过程中计算效率和修复结果更好。本文主要完成以下工作:首先,提出了一种基于挤压激励块的深度卷积生成对抗网络遮挡图像修复模型(Occlusion Image Recognition by Deep Convolution Generative Adversarial Networks based on Squeeze-and-Excitation Networks,SE-DCGAN)。对深度卷积生成对抗网络的结构进行重新设计,在生成模型的第三层卷积和第四层卷积层中融合挤压激励块,使得深度卷积生成对抗网络中的卷积层提取的特征更加精确。另外,SE-DCGAN引入具有强大拟合功能的Maxout激活函数,以提高图像生成效率并避免图像生成冗余。在CelebA、SVHN和动漫头像三个数据集上的仿真实验结果表明,该模型成功预测了大量缺失区域,并在视觉清晰的内容中实现了连贯的图像恢复,尤其是提高了被遮挡脸部的识别率。其次,提出了融合自注意力机制和条件Wasserstein生成对抗网络的遮挡图像修复模型(Self-Attention Mechanism and Conditional Wasserstein Generation Adversarial Network’s Occlusion Image Repair Model,SACWGAN)。条件Wasserstein生成对抗网络的生成器借助于自注意力机制更加关注数据和特征内部之间的关系,将条件标签当作输入来完成修复工作。在数据集CelebA和AR数据集上,通过可视化展示和两个重要评估指标(PSNR和SSIM),验证了SACWGAN在处理遮挡任务时的有效性。在此基础上,结合SENet在神经网络结构中有效捕获图像关键特征的能力,提出了融合挤压激励块和自注意力条件Wasserstein生成对抗的遮挡图像修复模型(SE-SACWGAN)。该模型利用挤压激励块的关键特征捕捉能力,提升了自注意力条件Wasserstein生成对抗网络的遮挡图像修复效果。最后,设计了基于SE-SACWGAN的遮挡图像识别原型系统。基于Django框架设计出视频图像修复演示系统,采用帧截取的方式获取动态视频中的受损区域并进行修复。本文对实际拍摄的受损视频进行修复演示,并对遮挡修复效果进行总结。该论文有图33幅,表18个,参考文献89篇。