基于目标优化的语义图像修复研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:LIU73558109
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修复技术作为数字图像处理领域一个非常重要的研究课题,近些年得到快速发展与应用。图像修复是指利用计算机技术针对在获取、存储和传输过程中发生的图像退化进行修复,在科研、医疗等领域具有重大意义。传统修复算法主要通过颜色、纹理、结构等低阶图像信息的扩散和匹配完成修复工作,但此类算法局限较多且修复效果一般。近几年,随着大数据处理技术的发展和硬件资源的日益成熟。深度学习在图像分类、目标检测、图像分割和图像修复等多个图像处理领域以绝对的优势超越了传统的图像处理算法。在图像修复领域,通过将编码器-解码器与生成式对抗网络相结合的方式,产生了很多表现优异的模型,这些模型在处理图像修复任务的效果和能力方面相对传统算法都有了质的飞跃。但是在图像修复任务中,依然会存在部分棘手的问题。当丢失区域被设定为某张图像中占比较小的一个完整个体的一部分的时候,修复模型会给出一个非常荒谬的结果。产生这个问题的本质在于训练时使用的数据集泛化能力太强,导致算法无法对图像中的每个整体进行专门的计算。针对这个问题,本文提出了一种基于目标优化的语义图像修复方法,可以从一定程度上改善修复结果语义不清晰的问题。本文提出的算法主要包含两个方面的工作:一是建立了一个改进的生成式修复模型,通过并联空洞卷积和感官损失函数使模型可以捕获更多的语义信息;二是将修复模型与语义分割模型结合,构造出一种针对目标进行优化的语义图像修复算法。另外,本文还提供了一个端到端的一键图像修复平台,后端集成了多种主流的深度学习修复算法,既可以实现用户自定义图像修复过程中使用的掩膜,又屏蔽了多种算法实现细节上的差异。实验部分的内容证明本文提出的算法在语义修复和目标移除任务上相对于现有成熟算法确实具备更高的可用性和容错性。并且通过对比实验探讨了缺失区域大小以及空洞卷积的步长对模型修复效果的影响。
其他文献
随着信息技术的发展,各种自动化和智能化管理控制技术都得到广泛应用。物联网作为信息化的重要组成部分,已成为重点研究的问题之一。而传感器感知数据对物联网的应用有非常重要的意义,物联网的价值之一就是为上层应用提供有用可靠的数据。由于传感器自身结构的特点以及一些外界的影响,传感器数据缺失不可避免。为了更好挖掘有效的数据信息,对缺失数据进行重建就显得尤为必要。目前多数数据重建方法都是基于单一属性,具有一定的
深度嵌入式系统(Deeply Embedded Systems)是与真实环境联系紧密、资源受限的嵌入式系统。随着物联网技术的发展,深度嵌入式系统得到了大规模的应用,如智能家居、智慧城市等。深度嵌入式系统运行状态监测和异常检测成为保障系统正常工作、提高系统可用性的关键保障性技术。然而,由于部署环境复杂多样、计算机资源严重受限等特点,深度嵌入式异常检测面临诸多的挑战。本文以数据为驱动深入研究了深度嵌入
基于属性签密机制能够在一个步骤下完成属性加密和签名,该机制不仅提供数据的机密性和认证性,同时能够实现数据细粒度的访问控制和数据共享。因此,基于属性签密机制的研究在实际应用中具有重要的意义,成为目前密码学研究的热点。本文针对基于属性签密机制进行深入研究,具体包括:(1)针对电子健康记录系统中数据拥有者个人敏感信息泄露的问题,基于双线性对,结合基于属性签密机制和Cuckoo过滤器技术,提出一种新的支持
大规模多输入多输出(Massive MIMO)技术作为5G移动蜂窝网络的关键技术之一,近年来已经成为无线通信领域的研究热点。空间调制(SM)技术和广义空间调制(GSM)技术利用Massive MIMO的空域信息隐性地传输信号,不仅能有效克服信道间干扰,而且降低了天线同步要求。由于隐形地传输信号,可提高信息传输速率,抵消由于空闲天线造成的频谱效率降低。同时,因为有效射频链路较少,可降低系统的实现成本
目的:高血压是一种多种因素综合的慢性疾病,其发病过程中伴随低度炎症性反应。以经典高血压动物模型自发性高血压大鼠(Spontaneously Hypertensive Rat,SHR)为研究载体,采用传
目的腓骨长肌腱作为重建后交叉韧带的新兴移植材料取得了满意的近期疗效,但远期疗效尚不明确,尤其是供区踝关节远期的稳定性受到质疑。本研究通过回顾性分析后交叉韧带损伤患
研究背景帕金森病(Parkinson’s Disease,PD)是全球第二常见的神经退行性疾病,其发病率仅次于阿尔兹海默病。PD的临床表现主要包括运动症状(主要包括运动迟缓、静止性震颤、
[目的]喉癌是常见头颈部恶性肿瘤之一,男性多见。课题组通过定量蛋白质组学技术,筛选得到喉癌相关蛋白磷酸烯醇式丙酮酸羧激酶2(Phosphoenolpyruvate carboxykinase 2,PCK2),通过瞬时转染技术干扰PCK2后,初步探讨PCK2在低氧微环境中的表达及功能,为阐明喉癌发病的分子机制提供更多实验依据。[方法]1.分析低氧环境下喉癌SCC10A细胞的蛋白质组学结果,筛选出相关
随着互联网的发展,每天都有大量的多媒体文件产生,如何在海量数据中检索相关内容成为了科研人员重点关注的内容。传统的检索方法是在同一模态的数据中进行检索,如:图片检索、文本检索等,这种检索方式反馈的结果类型单一、形式不灵活,无法满足人们的需求,因此很多科研人员开始研究跨模态检索问题。跨模态检索是在不同的媒体数据中进行检索,通常用某种类型的数据查询得到内容相关的其他类型文件,例如:图片检索文本、文本检索
大规模人工标注的数据集极大地促进了深度学习的发展,使得深度学习在多种计算机视觉任务表现出了优异的性能。然而,在现实场景中,由于一些新类别不断的出现,收集这些类别可用于训练的图像样本变得十分麻烦。很明显,使用传统分类模型去分类那些类别是不可行的。于是,零样本学习作为一种有效的解决方法吸引了很多研究人员的兴趣。零样本学习通过学习从已知类别迁移到未知类别的知识,可以在不存在来自未知类别的视觉样本的情况下