基于多段式生成式对抗网络的图像修补研究

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:konami_13
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像修补作为一项旨在根据已有图像信息对缺损区域进行合理填充的技术,被广泛的应用于破损图像修复、无关物体擦除以及影视后期制作中。近期基于生成式对抗网络的图像修补迎来了空前的进步,图像修补技术从单一过程逐步演变成多阶段多角度结合修补,通过多阶段对图像不同角度提取特征信息,以达到更好的视觉效果。因此,本文主要围绕基于多段式生成式对抗网络的图像修补展开,分别探索结合语义结构的图像修补、基于用户指导的图像修补以及基于光流法的深度学习视频修补技术。具体研究内容如下:(1)基于位置-通道注意力的语义结构的图像修补:本文提出了一种两段式的图像修补网络,以进一步提高图像修复的结构和细节的准确性。旨在解决现有方法由于无法保持图像语义一致性而存在的生成图像存在模糊纹理和扭曲结构的问题。网络模型将修复任务分为两部分:语义结构重构器和纹理生成器。语义结构重构器主要作用为保持语义结构一致性的前提下完成输入图像结构信息的修补。同时模型在纹理生成器中引入空间-通道注意力模块以获取生成细粒度的纹理的能力以及远距离和跨通道信息获取信息能力。(2)基于Transformer的用户指导的图像修补:本文提出了一种易于操作的可由用户提供指导信息的图像修补模型,通过交互式掩膜与提供的图像信息指导图像修补结果,并生成合理的修补结果。在基于Transformer特征提取器提取目标对象的分层特征后,修复网络采用分层特征融合的方式对原始图像和来自指导图像所需部分中的特征进行融合。(3)基于光流法的深度学习视频修补:本文提出了一种多段式视频修补网络,结合光流中包含的视频中连续帧图像中的时序信息应用到单帧的图像修补中,并引入保边滤波提取图像边缘信息弥补光流图模糊误导后续图像修补的问题。视频修补网络主要分为三个阶段:光流图生成与补全、保边滤波图像结构提取、结合光流图与图像结构图的逐帧图像修补。通过引入光流信息,使得模型能够更加准确的描述视频信息中的运动信息,进一步充分利用连续帧中存在的冗余信息,同时模型结合保边滤波后的图像边缘结构信息,提高对于运动物体边界修补的准确性。综上所述,本文通过对结合语义结构的图像修补、基于用户指导的图像修补以及基于光流法的深度学习视频修补技术三个方面的探索,提出了有效的解决方案,对图像修补技术在研究与应用提出了富有建设性的思路。
其他文献
脑胶质瘤是中枢神经系统最常见的恶性肿瘤之一,预后较差,其有效治疗一直是临床的重大挑战。在肿瘤细胞中,遗传不稳定性常导致大量的突变,非同义突变的表达可产生肿瘤特异性抗原,称为新抗原。新抗原具有高度的免疫原性,可激活特异性T细胞产生免疫应答,有可能成为肿瘤免疫治疗的新靶点。靶向新抗原的肿瘤疫苗中,mRNA肿瘤疫苗具有易获得、成本较低、安全性高及稳定性好等明显的优势,有望成为抗胶质瘤的有效免疫治疗手段。
2011年“3·11”日本福岛第一核电厂严重核事故给世界核工业界造成了巨大影响。本文总结了从福岛核事故中汲取的教训,介绍了主要核电国家,如美国、日本、法国以及中国在福岛核事故后十年来实施的一系列核安全改进行动和核安全法规标准修订。阐述了核安全要求和核安全理念在中国的实施现状及实践,包括实际消除早期或大量放射性释放、事故工况划分、纵深防御概念、移动设施配置等,对后续核安全发展方向进行探讨并提出建议。
消息队列中间件是分布式系统的重要组件,它使得应用程序只需关注数据,而不需要关注数据在传输时的具体细节,从而解决了消息异步传输、应用程序解耦以及流量削峰等问题。Kafka是一个开源的基于发布-订阅模型的分布式消息系统,具有低延迟、高吞吐量和良好的负载平衡等优势,已在Twitter、Yahoo等互联网企业中广泛使用。Kafka作为一种受欢迎的消息系统,在应用程序之间传输消息是其核心功能之一,因此数据在
本文针对目前我国学校心理健康教育方面的定义进行了描述,并对目前我校心理健康教育管理中存在的一些问题进行了探讨。最后,针对如何解决这些问题提出了一些可行性建议,从而为学校领导对于学校心理健康教育的相关管理工作提供一些参考。
超短脉冲串模式激光因其独特的脉冲能量分布特性,广泛应用在超快激光诊断、材料微加工和生物医疗等领域。相比于固体激光器,光纤激光器具有可靠性高、光束质量好、体积小、维护成本低和灵活性好等优点,为扩展超快激光在精密加工领域的应用提供了使用灵活的工具。近十年来,脉冲串模式与光纤激光器相结合的加工模式,在激光烧蚀方面展现出优异的性能。基于脉冲串光纤激光器在材料加工等应用领域的巨大潜力,实现飞秒脉冲串时域波形
新疆作为我国西北地区的重要组成部分之一,地区内部具有十分丰富的民族、语种及民族文化形态。在这一地区中除了几个少数民族在使用汉语言之外,其他的少数民族都在使用自身的民族语言。为了更好的促进国家的统一化发展,国家对于新疆地区少数民族的汉语言教学给予了高度的重视。但是,就目前的情况看来,其中依然存在着很多问题。本文基于新形势下新疆地区少数民族汉语言教学的问题研究,提出了改革新疆地区少数民族汉语言教学模式
随着杀菌剂的普遍使用,关于杀菌剂的环境污染、耐药性问题也越来越突出。因此,低毒高效的新型杀菌剂的开发逐渐成为有机合成领域的热点研究之一。活性亚结构拼接法是指将两种或更多的已知有效结构片段进行某种方式的连接,用生物测试来观察这样设计的新化合物的生物活性,是新型杀菌剂开发常见的手段之一。本论文通过1,3-偶极环加成反应成功拼接吲哚醌与查尔酮两个活性亚片段,合成了一系列新型二环螺吡咯吲哚酮类化合物,并对
药学教育关系着国民健康服务质量,也关系着"健康中国"发展战略的有效推进。研究立足药学教育,通过CNKI核心期刊文献分析,总结出药学教育研究目前呈现出数量增加、聚焦分散、热点突出的现状特点。这些特点的显现也侧面表明了我国药学教育当下存在的问题与瓶颈。面对问题,研究提出在后续的药学教育发展过程中,应当从"传统+思政"的深度融合,"实践+应用"的高度渗透及"国际+开放"的广度契合等三方面进行改革。
甲藻孢囊是浮游甲藻失去鞭毛和游动能力后形成的不动细胞,是甲藻在环境不利条件下的一种休眠方式。在适宜的环境条件下,大量的孢囊可以萌发形成浮游细胞并进入上层水体;如果孢囊的数量很多,它们可能会成为有害藻华爆发的“种源”,引发赤潮灾害。因此,了解海洋沉积物中甲藻孢囊的多样性与数量分布是监测甲藻藻华爆发的重要基础。沉积物中甲藻孢囊的物种组成及其数量分布与水体和沉积物的理化环境密切相关,因此,孢囊的物种组成
本文以汉语"给"类介词为研究对象,绘制出汉语"给"类介词与英、俄、韩、日语中相关语言形式的语义地图,并探讨了语义地图工具在汉语介词教学中的运用。本文以期运用语义地图这一可视化工具更加直观地解释偏误产生的原因,同时通过中介语语料库对语义地图的预测能力进行验证,从而针对以英语、日语、俄语、韩语为母语的学习者对"给"类介词的教学顺序作出安排。