基于生成式对抗网络的图像修复算法研究与实现

来源 :苏州大学 | 被引量 : 0次 | 上传用户:chunhuaqiuyue
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人工智能、大数据以及5G通信等新技术产业的不断出现和快速发展,智能化成为社会发展的主要趋势,人工智能的相关技术成为目前学术界和产业界最活跃的研究热点。人工智能的发展主要得益于深度学习相关算法的研究与应用,体现在图像检测、识别、语义分割等方面。作为图像处理中非常重要的一个研究方向,图像修复是在具有缺损的图像上,利用图像整体的信息推断并生成缺损区域的像素,从而恢复整体图像的完整性。目前,绝大多数基于机器学习的图像修复算法,都是在生成对抗网络(GAN,Generative Adversarial Nets)基础上,设计新的网络结构以及损失函数,利用编解码的方式实现图像的生成与填充。相比于传统基于数学公式进行填充的算法,基于卷积神经网络的算法在语义连续性上具有明显的优势,但在生成图像的清晰度上依旧有待提高。基于 DCGAN(Deep Convolution Generative Adversarial Nets),本文略作改进,设计了 PMGAN(Patch-Match Generative Adversarial Nets)。算法引入了两阶的生成网络,并结合EM(Expection Maximization)算法进行特征替换。第一阶生成网络负责图像的初步生成,主要目的是获得完整的语义信息,本文采用基于图像编解码的原理设计网络结构,提高模型训练的稳定性。第二阶生成网络负责图像细节构建,目的在于获得清晰的图像,本文引入EM算法进行特征替换,融合清晰纹理所对应的特征信息,同时利用分离卷积设计并行的卷积层,在解码过程中引入更丰富的细节信息;损失函数方面,除绝对值损失以及基于DCGAN提供的交叉熵损失外,本文利用VGG16引入了感知损失和风格损失,利用Opencv进行边缘提取引入边缘损失等,辅助清晰度的进一步提升。在 IS(Inception Score)、FID(Frechet Inception Distance)和PSNR(Peak Signal to Noise Ratio)衡量方式下,测试得到的不规则空洞输入下数值分别为 2.248(0.382)、19.091、36.182,相比于 GLGAN(Global and Local Generative Adversarial Nets)和 CAGAN(Contextual Attention Generative Adversarial Nets),本文算法在PSNR指标上分别获得了 3.33%和2.7%的提升、在FID指标上分别获得了 59.54%和35.59%的提升。在处理速度上,在Intel i7-7700k计算环境下,输入为256*256的图像时,本文算法的平均处理时间为0.58s,相比于非深度学习的Anupam和PatchMatch算法,平均处理时间获得了 6.09倍和86.43倍的提升;在i7-7700K+GTX 1070的计算环境下,本文算法的平均处理时间为129.96ms,相较于同为深度学习算法的GLGAN和CAGAN,平均速度分别提升了1.25倍和4.9倍。基于图像修复算法,本文搭建了由安卓客户端和服务器端组成的自动图像修复系统,完成景观照中人物的自动识别及去除。在自动图像修复系统中,增加的辅助算法包括图像检测算法和图像分割算法。图像检测算法的目的在于为人物打上独立的标签,算法将特征层均分为方格;基于方格,检测默认大小的检测框内的特征,判定是否存在目标;算法通过不同抽象层度的检测,实现不同大小的实体标注,并通过检测框的规格计算最终检测框大小。图像分割的目的则是为修复算法提供Mask;算法通过编解码结构以及分离卷积的引入,实现图像在像素点级别的分类;本文同时引入边缘膨胀的方式扩大目标区域,避免实体边缘的残留,改善生成效果。本文通过检测算法、分割算法和修复算法协同工作,提高了系统的自动化和智能化的处理能力;与移动平台的协同设计,使得算法具有良好的用户体验,具有较大的实用性。
其他文献
核电站汽轮机组有着容量大、热力参数高、安全性要求高的特点,这使得对核电汽轮机组安全性要求尤为苛刻。本文从汽轮机遮断系统的逻辑安全性和超速保护系统的故障安全性这个
红枣是多刺的鼠李科植物的成熟果实,红枣的深加工产品较少。本课题从贵州省遵化市采取了11份自制泡菜样品,从中分离纯化出乳酸菌,对其一些性能进行了测定,筛选得到一株具有多种优良性能的菌株;优化得到适合红枣泥的杀菌方式;将红枣泥用乳酸菌与酵母菌进行发酵,优化发酵工艺,并对发酵后的红枣泥的一些理化指标进行测定。结果如下:(1)以从贵州省采集的11份自制发酵泡菜制品为材料,从中挑选出11株产酸细菌,并鉴定出
诚信作为会计人员应该遵循的一般道德原则,渗透到会计诚信的点滴之中。中国现代会计之父潘序伦先生指出,“立信乃会计之本”,没有信用就没有会计,诚信是会计工作的生命线。对
本文通过对中国当代意象油画中的中国传统文化元素进行分析,强调只有深刻研究和领悟传统文化的精髓与内涵,将其与油画的艺术语言融会贯通,才能使油画这一外来画种走上真正的“民
本文以内蒙古通辽市A镇信用社农户为例,分析了小额信贷的投向及绩效,发现当地小额信贷用于个体私营企业的绩效高于农业生产和畜牧养殖领域,且小额信贷农户具有地域集中性,因此将
我国医学类高等教育存在严重的供需不对等的问题,临床环境的社会需求和医学院校教育模式的单一的矛盾亟待解决。针对医学院校本科双学位改革进行调查研究,从学习动机、学习满
在信用担保活动中,受保企业不必完全承担责任,企业便会做出风险更大的决策。另外,受保企业受利益驱使,还会骗取贷款与担保。随着行业制度的不断完善,担保机构的风险控制体系趋于成