基于边缘约束和多层级注意力机制的图像修复算法研究

来源 :南昌大学 | 被引量 : 0次 | 上传用户:sevenff
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机视觉的不断发展,图像修复技术成为了一个具有重大实际应用价值的研究课题之一。图像修复技术旨在有效地将破损图像的缺失部分进行填充。现有的图像修复方法主要存在以下两个问题。问题一,对于有大面积破损的图像,许多方法都无法重建出合理的结构,使修复后的图像产生模糊或结构混乱等问题。此外,对破损图像进行连续卷积提取高层语义信息时,由于丢失了底层特征导致被修复区域与未损坏区域具有明显颜色和纹理上的差异。问题二,在修复图像破损区域时往往会产生无效卷积问题,该问题的产生是由于对破损图像进行特征抽取时会从破损区域获取到无效特征,使被修复的图像产生模糊或重影等现象。此外,在很多现有方法的注意力机制模块中都使用的是图像单一尺度的特征,导致生成的结果细节精细程度不佳并且无法满足结构的一致性等问题。针对问题一中修复大面积破损图像产生的图像模糊或结构混乱,以及连续卷积使图像特征丢失导致修复效果不佳等问题,本文提出了一种基于边缘约束与特征金字塔的图像修复方法,该方法的核心是设计了一个由两个子网络所构成的边缘约束的特征金字塔修复网络(Edge Constrained Feature Pyramid Repair Network,ECFPR-Net)。首先在第一个子网络中获得粗略的修复结果,同时提取相对应的边缘信息来限制修复图像的结构信息,使图像结构保持完整。然后在第二个子网络中,引入特征金字塔模块去融合多尺度特征信息,使被修复区域具有更好的颜色和纹理视觉效果。对于问题二中产生的无效卷积问题,以及单一尺度的注意力机制使生成的结果精细程度不佳且无法满足结构的一致性等问题,本文提出了一种基于门控卷积与多层级注意力的图像修复方法,该方法的核心是设计了一个门控卷积下的多层级注意力机制网络(Multi-level Attention Mechanism Network under Gated Convolution,MAM-GC)。在网络中使用门控卷积对当前卷积层的输出进行加权使未破损区域被更加关注,合理的避免了无效卷积导致的生成结果模糊或重影的现象。此外,网络的生成器中嵌入多层级注意力机制模块,其可以准确的使网络将更多的权重分配到未破损区域。并且该模块结合了多尺度的特征映射去获取图像不同尺度的信息,进而保持修复结果在全局结构上的一致性和细节上的精细粒度。本文在公开数据集上做了充足的实验,将这些方法与现有主流方法进行了对比。结果表明,使用本文提出的方法生成的结果在一些常用的评价指标上、以及修复后图像的视觉效果上,都比使用现有主流方法生成的结果表现更佳。
其他文献
随着计算机技术和国家航天航空事业的发展,一颗颗遥感卫星相继投射空中,遥感图像的分辨率越来越高,也愈发清晰,遥感图像中包含的地表信息不仅能运用于林业、农业、水利等民用领域,还能应用于军事国防领域。目前的目标检测技术在自然图像检测中取得了很好的成果,但在遥感图像方面表现欠佳,这是因为遥感图像本身分辨率很高,图中的关键目标尺寸极小并且多方向密集分布,而背景信息十分冗杂并遍及全图范围,导致在使用传统方式进
学位
幽门螺杆菌(Helicobacter Pylori,HP)感染能引发多种胃部疾病,其发病率非常高,感染人数逐年增加。如果能及时杀灭根除HP,可有效阻止胃黏膜炎症和胃萎缩,更好的预防和控制胃癌的发生。在临床中,幽门螺杆菌感染者病情极容易反复,治疗起来非常困难。传统检测方法存在外界影响因素多,检测方式复杂,病人依从性低的局限性。内镜医生依据丰富的临床经验可通过胃部内窥镜图像判断HP感染,但仅靠医生判断
学位
癌症是影响我国居民健康的主要疾病之一,免疫治疗的发展为癌症患者带来了更多的希望。PD-L1是判断癌症患者是否适宜于免疫治疗的关键生物标志物,所以对PD-L1表达程度的量化在医学领域有着非常重要的研究意义。目前对PD-L1表达程度的量化是通过病理学家直接在显微镜下观察再进行评估的,但人工评分效率低而且主观性较强。为解决以上问题,本文分别对非小细胞肺癌和食管癌两组数据设计了两种基于卷积神经网络的深度学
学位
在医学影像中,肺癌多表现为形状不规则、边缘模糊的结节病灶。借助医学影像区分良性和恶性肺结节并及时制定诊疗方案,是防止病灶恶化、提高治愈率的关键手段。从肺部CT影像中分割出结节病灶可以为肺肿瘤的诊断提供重要参考。近年来,深度学习在医学图像处理中的研究越来越深入,在器官病灶分割的任务中比传统图像分割方法适应性更强、效率更高,但仍存在精度不高的问题。研究以此为背景,构建了针对CT图像中肺结节分割的深度学
学位
谱聚类是一种高质量、适应性强的的聚类分析算法,有良好的理论基础,已被广泛应用于文本分析、图像分割及入侵检测等多个领域。然而,谱聚类在聚类时对高斯核参数灵敏并且要人工输入聚类数目,使得算法有一定局限性。本文针对高斯核参数灵敏问题和人工输入聚类数目问题进行研究,提出能自适应获取高斯核参数和最佳聚类数的谱聚类算法,并将该算法应用于入侵检测系统的初级报警数据聚类分析处理。主要研究工作和成果包括:(1)提出
学位
研究有效精准进行农产品推荐的方法是有意义的,也是有重要应用价值的。有效的农产品推荐平台能更好帮助农产品种植户销售农产品,更好服务消费者挑选到既合适又满意的农产品,更好服务于国家的乡村振兴战略和农业数字化建设,结合农产品自身具有的特征,本文对基于用户的协同过滤推荐算法进行优化研究,旨在提升农产品推荐效果。主要研究内容如下:(1)应用谱聚类技术优化农产品推荐效果。针对农产品市场中应用协同过滤推荐算法存
学位
脑胶质瘤是一种具有高发病率和高致死率的原发性脑肿瘤,它对人类的生命和健康会造成极大的危害。当前,基于核磁共振图像的脑胶质瘤分割可以帮助医师观察和分析脑胶质瘤的外部形态,从而进行诊断治疗;然而,脑胶质瘤具有高异质性,其多模态MRI(magnetic resonance imaging)脑影像呈现出灰度不均匀、形状不规则等特点,并且脑胶质瘤的数据样本不平衡是一个长期需要解决的问题。因此,开发准确率较高
学位
随着人类社会的高速发展,互联网的应用已渗透社会生活的方方面面,包括政府、社区、交通、餐饮娱乐、教育等。为了加快信息化时代的到来和满足人类的个性化需求,人工智能技术包括知识图谱、推荐算法、深度学习等研究亦在如火如荼的发展。近年来,为了减轻中小学学生学习负担,响应“德智体美劳全面发展”的号召,国务院推行出“双减政策”,明确提出要全面压减作业总量和时长,和全面规范校外培训行为。因此,在这样的大环境下,设
学位
长期以来,博弈问题都是人工智能研究者的关注重点。随着人工智能技术的快速发展,很多完备信息博弈问题(例如围棋、国际象棋等)通过博弈树搜索技术已经取得卓越的成果。目前,非完备信息博弈问题也成为了博弈研究的关注对象。与完备信息博弈不同,非完备信息博弈的参与者无法观察到全部的状态信息,单纯的博弈树在拓展过程中存在大量不确定因素难以进行下去,所以非完备信息博弈问题单靠搜索技术不能得到很好的解决,参与者需要针
学位
针对传统疲劳驾驶检测模型存在的网络模型较大以及检测精度低等问题,本文提出了一种基于改进YOLOv3的疲劳驾驶检测算法,并通过实验验证了其可行性,最终基于该模型实现了疲劳驾驶监督预警系统以及疲劳驾驶监管系统。本文的主要研究内容及工作如下:1.为了加快模型收敛的速度并且提升检测精度,本文改进了YOLOv3算法的Anchor Boxes以及回归损失函数Io U。利用K-Means++聚类算法结合本文所采
学位