基于语义感知深度模型的图像修复方法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:hpsjsj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复的主要任务是根据图像己知信息来重建缺失内容,使观察者无法察觉到图像曾经被破坏过。作为计算机视觉研究领域的一项重要内容,图像修复因其在数字文化遗产保护,图片/视频再编辑,电视/电影后期制作等行业中具有的重要应用价值而被广泛关注。
  传统技术上,依据图像像素间的相关性和内容相似性,人们主要采用基于数学和物理的方法来实现图像修复。随着深度学习技术在学术界和工业界的飞速发展,尤其是各种生成网络的出现,利用深度学习实现图像修复成为了研究的热点并取得了众多突破性的进展。图像作为结构化数据,必然存在上下文语义,而基于深度模型的图像修复被证实能通过有效地提取图像语义特征信息来生成修复图像。具体研究中,如何增强深度模型对图像语义特征的表达能力,以提高修复图像的结构连贯性、纹理一致性以及语义完整性是研究的焦点。同时,针对于随机破损图像的修复,保证修复质量,降低模型复杂度,提高模型的泛化能力也变得至关重要。总的来说,基于深度模型的语义图像修复仍然是一个十分有挑战的研究课题。
  本文针对现有图像修复工作中依然存在的修复内容模糊、语义不明确及深度模型复杂,模型泛化能力不强等问题展开研究。论文的主要工作和创新点如下:
  1)提出了一种基于密连接生成网的语义图像修复算法。图像修复本质上是依据图像的己知先验知识来推测图像的真实数据分布,因此,如何更准确有效的提取图像隐层特征表达以获取完备的先验知识是决定修复图像质量的关键。我们提出通过建立多组由层级间密集跳跃连接的深度编码一解码生成网络,将图像的浅层信息和深层信息有机融合,同时保持图像空间信息,实现深度挖掘图像语义特征表达的目标。文中引入训练更稳定的WGAN-GP模型,实现从数据逆变换采样成伪概率分布的目标,以获得更加真实的修复图像,通过端到端的对抗训练方式,实现模型的自我优化过程。在图像修复研究领域两个公有数据集ImageNet和ParisStreetView上的对比实验结果表明该算法从主观和客观评测上都取得了更优的修复结果。
  2)提出了一种基于自洽正则化的语义图像修复算法。深度网络通过对大样本学习建立线性或非线性的映射关系来对真实数据分布进行拟合。其中,泛化能力一直是机器学习中模型评估与选择的重要指标。在实际应用中,修复模型输入往往是一幅随机破损图像,这种随机性要求模型应具有较好的泛化能力和鲁棒性。为了降低模型复杂度,我们提出将自洽正则化引入到图像恢复工作中,对生成网络输入具有不同扰动的同源图像数据组,通过自洽约束减小输出图像间的误差损失,使网络输出保持一致,以此来提高模型对随机破损图像修复的泛化能力。
  3)本文利用同源图像间的自洽性,通过保持同源数据在隐层空间特征表达的自洽一致性来进一步增强模型对图像的语义特征表达能力。文中在图像修复模型中引入自洽正则化机制,并与基准模型以及当前最优的修复算法得到的修复图像分别进行质量对比,验证了所提方法的有效性。
其他文献
词块是集词汇和语法于一体的语言单位,从心理学角度来说,它也是记忆、存储、输出的最小语言单位。作为语言半成品,词块可以整体储存于大脑,并在使用时直接提取,省去语法生成环节,可有效提高语言信息处理效率,缓解学习者写作压力,同时提高其写作的流利性与地道性。目前国内学界主要聚焦于从不同角度研究和探索词块在英语教学中的作用。针对大学生的研究虽然不少,但通常以是否是英语专业学生为划分标准,极少考虑学生的英语学
学位
桑德拉·希斯内罗斯是美国当代最具影响力的西语裔女作家之一。她的创作通常基于自己独特的墨西哥裔背景和跨越双重文化背景的成长经历,深切关注以墨西哥裔为主的西语裔文化,尤其是性别、种族和阶级问题,这充分体现在她的长篇小说《拉拉的褐色披肩》中。在她众多作品中,《拉拉的褐色披肩》是美国拉丁裔文学的重要作品,入围国际IMPAC都柏林文学决选并获得“英国橘子小说奖”提名。目前国内外对《拉拉的褐色披肩》的研究主要
学位
巨噬细胞在稳态和免疫反应中发挥多种不同功能,其功能取决于细胞的异质性和可塑性,它们能根据微环境的改变相应地改变其特性。巨噬细胞可以划分成促炎的M1和抑炎的M2型。M1型巨噬细胞能够在炎症开始时分泌促炎细胞因子,激活内皮细胞,并诱导其他免疫细胞募集进入发炎组织;M2型巨噬细胞能够促进炎症的消退,吞噬凋亡的细胞,驱动胶原蛋白沉积,协调组织的完整性并释放抗炎介质。如果M1型巨噬细胞大量积累,会导致促炎因
学位
内燃机作为石油的主要消耗源和CO2的主要排放源,其节能研究对于国家的能源安全和CO2节能减排具有重要意义。在内燃机各项节能技术中,余热能利用具有最大的效率提升和节能潜力。本文提出,以跨临界CO2动力循环(CO2-based Transcritical Power Cycle, CTPC)作为余热回收底循环技术,能较好地适应多品位大梯度、瞬态脉动性强的内燃机余热特性,满足小型轻量化的装置要求。针对C
针对目前多数新建城轨线路牵引变电所内增设能馈装置且配置方式缺乏成熟的技术指导的现状,本文从城轨列车牵引计算研究出发,研究含能馈装置的城轨供电系统的交直流混合潮流计算,开发城市轨道交通牵引及潮流计算平台,并使用此平台完成了考虑多重因素的城轨供电系统能馈装置配置的优化研究,为工程设计工作中能馈装置的配置方式提供指导。  为了获得准确的城轨列车牵引计算输出特性曲线以为后续研究提供切实可靠的数据输入,本文
学位
随着高速列车运行速度的增加,弓网离线频繁发生,弓网电弧现象越发严重。弓网大离线燃弧期间,随着电弧被不断拉长,可能出现电弧因能量不足而熄灭,熄灭后因离线距离再次减小而重燃的情况。电弧熄灭导致弓网受流中断,高速列车的电气特性将被显著影响。随着弓网离线率的提升,相比单次燃弧工况,多次燃弧工况更加普遍。多次燃弧工况下,各次离线因其离线距离、离线持续时间的不同,将处于在不同的燃弧情况,多次离线燃弧之间的相互
学位
传统CCM-CCM二次型BoostPFC变换器具有功率因数高、输入电流纹波小等特性,但变换器负载响应速度慢且适合工作于中大功率场合,传统DCM-DCM二次型BoostPFC变换器具有输出电压纹波小、负载响应速度快等特性,但变换器功率因数低且适合工作于中小功率场合。电感三态伪连续导电模式(Pseudo Continuous Conduction Mode,PCCM)可以在提高变换器负载瞬态响应速度的
传统的化石能源诸如煤、石油、天然气等资源储量有限,且其开采和使用的过程会对环境造成严重的污染,开发利用可再生能源成为了解决当今世界能源短缺和环境污染问题的必然选择。可再生能源中,风能分布广泛、市场前景广阔,风力发电技术正逐步走向成熟,其在全球能源市场中的份额也在逐步提升。变速恒频的双馈感应发电机(Doubly-Fed Induction Generator,DFIG)因其技术成熟、功率因素可调、调
感应式无线电能传输(inductive power transfer,IPT)技术广泛应用于消费类电子产品、生物医学植入设备、水下供电和电动交通工具等领域。与传统传导供电相比,由于IPT系统通过电磁耦合以非接触的方式将能量传递给用电设备,因此该供电方式具有安全、便捷和灵活等优势。在IPT实际应用中:电池通常采用恒流-恒压充电,整过充电过程电池等效负载变化范围大;原边和副边线圈位置不易固定,耦合系数
高速铁路牵引变压器是牵引供电系统中的枢纽设备,其运行状态直接关系到牵引供电系统的安全运行,其一旦发生故障不仅会造成牵引供电系统及设备资产的巨大损失、还会引发停电事故影响列车正常通行,因此提高牵引变压器的可靠性对于牵引供电系统乃至高速铁路的安全运行均具有重要意义。  变压器的绝缘状态影响其可靠性并决定其服役寿命,绕组热点温度是评估绝缘(主要绕组的纵绝缘)寿命的重要参量之一:绕组热点温度过高会加速绝缘
学位