基于注意力机制的图像修复技术研究

来源 :重庆理工大学 | 被引量 : 0次 | 上传用户:go2mx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着图像数字化的快速发展,图像修复技术的学术研究得到了越来越多的关注。成熟的图像修复技术具有重要的应用价值意义,它可用于老旧照片的修复,人脸识别以及考古等众多领域。当前存在的图像修复技术,在某些情况下可达到一定的修复效果,但是也存在着一些问题,如:对于图像修复结果存在的颜色失真,伪影重叠以及修复结果模糊等,本文从基于自注意力机制和基于多头自注意力机制两个层面来对图像修复进行实验研究,达到了较好的修复效果。其研究工作如下:①针对通过基于深度学习方法来获取缺失部分的特征信息时,极少从上下文语义和空间上来获取特征,在一定程度上会使修复结果出现颜色差异以及伪影模糊问题,本文结合自注意力机制在双阶段的网络模型结构上建立一种可以获取语义上下文的特征修复模型,命名为基于自注意力机制门控卷积的图像修复网络模型IISAGC。该网络模型由生成网络和判别网络组成;生成网络方法主要是修复上下文语义信息,且通过自注意力机制和动态的门控卷积相互融合,在不同的通道和空间上来提取特征,并将修复的结果传入判别网络中,来获取修复结果真假概率值。在人脸Celeba数据集上,该模型与所选取经典的图像修复模型对比,SSIM指标提升到0.935,PSNR指标达到27.84d B。②针对IISAGC的修复网络模型在消融实验中,自注意力机制在颜色失真和伪影模糊处理上发挥了关键的修复作用,故将多头自注意力机制引入到图像修复模型中。考虑到Transformer的本质为多头自注意力机制,故将Transformer和多尺度判别器组合为一个新颖的图像修复网络模型,命名为基于Transformer多尺度判别器的图像修复网络模型IINTMD。该模型也由生成网络和判别网络组成,其中生成网络为CNN和Transformer组合,以获取特征信息细节并共享卷积权值,并通过级联上采样来增强上下文特征和空间上的纹理细节特征;将生成的结果通过多尺度判别器网络,来保持图像修复结构的整体一致性及对局部缺失部分更好的进行重构,来减少颜色失真和伪影模糊并得到有效的修复。在人脸Celeba数据集上,该模型和所选取的经典修复方法比较,mean L1 loss指标提升到8.99%,mean L2 loss指标为1.63%。综上,为了验证提出的两个网络模型对于图像修复任务的有效性,本文对所提出的两个网络模型进行了定量比较,定性比较以及消融实验,在图像常用的多个数据集上进行实验。实验表明,所提出的方法在一些数据集上面有明显的提升。
其他文献
期刊
汽车用LED流水灯不仅能够承担相应照明、信号显示等功能,还兼具酷炫的装饰性能,目前已广泛应用于汽车前照灯、转向信号指示灯、制动指示灯、后视镜灯、仪表盘灯、车内氛围灯等诸多场景。本文基于STC(宏晶)公司的51单片机STC89C52RC,对单片机最小系统及8位LED硬件电路进行设计,并利用Keil uVision5集成开发环境进行C语言软件编程设计,分别采用位输出操作、移位操作及循环移位操作3种控制
跨文化交际能力作为外语教学的目标之一,是一种重要的沟通交际能力,是学习者与其他文化群体进行有效交际的基础。外语教学作为提升跨文化交际能力的主要途径,担负着提升学习者跨文化交际能力的重要任务。在传统的文化教学模式下,教师更重视文化知识的传授,而学生将所学的文化知识运用到交际实践中的机会较少,这对学生跨文化交际能力的培养存在一定程度的局限性。因此,本研究将多模态教学模式应用于高中英语课堂,探讨其对高中
近年,以新技术、新产业、新模式等形式表现的新动能带动新兴产业的产生,随之带动更多的就业,但技术的进一步发展同时也将大量替代低技能劳动力。新动能发展对就业形势是利是弊,成为我们极为关注的问题。目前,大部分文献研究新动能水平和就业质量水平测度,未深入研究两者之间的关系及其相互影响程度。因此本文深入研究新动能与就业质量之间是否协调发展,同时探索两者之间耦合协调发展的驱动因素,为政策制定提供一定的思路。本
城市更新是一个系统性工程项目,存在着融资需求大、牵涉利益主体多、建设程序繁琐、开发周期长和收益回报不明确等特点,对建设主体的投融资实力要求较高。促进城市改造项目的科学合理分类,建立合理的投资收益报酬激励机制,优选匹配的投融资模式,是城市改造项目成功实现的重要关键。本文将通过总结、分析研究城市改造项目的投融资模式,总结各模式优缺点,为城市更新项目投融资开展提供参考。
<正>一、改革前小学体育学生学业评价的不足学业评价即对学生学业成绩的评定。学业成绩是指学生在教师的指导下,通过学习所获得的成果。而学业成绩的评定就是指根据一定的标准,对学生的学习结果进行价值判断的活动。也就是测定或诊断学生是否
期刊
<正> 病例一:张氏,女,68岁,家庭妇女.患者腹泻间断发作四年余,近年来加重,粘液样便日八九次,但未见脓血,胃胀,便后得舒.一日前曾在市三院行乙状结肠镜检,未见异常.患者四年前无明显原因出现腹泻,日数次,时作时止,间断发作,每次发作伴有胃胀,便后得舒之感.患者既往有高血压、糖尿病史二十余年,曾生育五男四女.察患者面色(白光)白,身体瘦弱,情绪低落,言
期刊