基于编解码器结构的图像去雨雾方法研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:bing4086
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着科技的发展进步和人们生活水平的提高,图像作为信息的重要载体,已经成为现实应用中重要的组成部分,互联网上时刻都会产生海量的图像数据。清晰完整的图像既可以提升人的主观视觉感受,也可以为自动驾驶、公共场所监拍等实际应用完成社会职能提供帮助。遭受恶劣天气(如雨、雾)干扰影响所拍摄的图像会出现细节丢失、颜色失真等质量退化问题。这些退化现象也会破坏图像的原始语义信息,进而对后续的一些如图像分类、目标检测等任务造成错误分类、识别不准等影响。因此,如何从图像中将退化干扰与背景图像更好地解耦分离,对恢复图像中有效的视觉信息与细节内容至关重要。近年来,许多基于深度学习的方法被提出,以解决包括图像去雨、图像去雾在内的图像复原问题。现有方法在某些复杂场景中仍会存在过度涂抹或去除不足等现象,而一些去除效果相对较好的方法也存在处理效率低下的问题。本文使用基于U-Net的编码器-解码器结构,结合当前深度学习中已经在视觉任务中表现不俗的Transformer设计范式,与在图像处理任务中已经具备稳定性能的卷积神经网络进行图像去雨雾模型的设计。同时,由于直接使用基于Transformer设计的编码器存在计算复杂度与输入分辨率呈二次方比例的高增长问题,所以本文对Transformer中的自注意力机制进行改进以提高计算效率。本文将使用跨通道交互自注意力机制的Transformer模块,插入在由卷积组成的编码器-解码器框架上,搭建了CNN-Transformer混合的图像去雨雾网络模型。该模型分别在图像去雨和图像去雾的相关数据集上达到了与目前最先进的方法相当的性能。当前,在单一退化复原任务上许多相关的工作都达到了不错的性能。但是,当这些模型面对不同类型的退化现象时性能会出现明显的下降。为了提升模型的泛化能力,本文结合对比学习的思想设计了退化感知的辅助编码器模块。该对比学习编码器模块的作用在于,面对处于雨雾两种退化状态下的图像时,将模型对两种退化在特征空间所学习的分布进一步拉近,进而更好地同时对雨雾图像进行还原,面对真实场景需求时更加灵活实用。将其结合到本文的图像复原网络模型后,通过实验验证,在同时输入有雨图像和有雾图像的场景下,经过对比学习预训练后的改进模型可以得到相比原始模型更好的效果。
其他文献
人机对话是人类与计算机之间进行交互的主要方式之一。其中,任务型对话系统通过与用户进行对话帮助用户完成预定任务,以其简单便捷的特点被广泛应用。自然语言理解是任务型对话系统的关键模块,其包含意图检测和语义槽填充两个任务,为后续模块提供语义理解支持。现有的对话语言理解方法大多需要收集大量领域特定的标注数据进行训练,才能达到较好的性能。然而随着对话任务场景的快速增加,往往在新领域难以获取到如此庞大的训练数
学位
目的:研究胃肠间质瘤患者血浆外泌体mi RNA和正常人血浆外泌体mi RNA表达差异谱,筛选出间质瘤患者血浆外泌体中特异mi RNA,为进一步研究间质瘤血浆外泌体mi RNA生物学特性提供理论基础。方法:选取2020年6月~2021年6月本院收治的5例间质瘤患者和5名体检的健康人作为研究对象,提取间质瘤患者和健康人血浆外泌体中的mi RNA,采用高通量RNA测序法检测外泌体中的mi RNA,与RN
学位
区块链是一个去中心化的分布式账本,具有去中心化、数据不可篡改、数据透明可追溯等特性,与传统的中心化数据库相比,其具有不可比拟的优势。研究者利用区块链的特性,将区块链应用到其它领域。在研究者利用区块链解决其它领域问题时,忽视了区块链存在的问题。区块链本身查询能力不足,目前仅仅支持查询少数键值的查询,难以支撑区块链作为数据库的高效性。同时,由于区块链上数据是透明的,每个节点都可以访问区块链上的数据,因
学位
行人检测旨在从图片或者视频中自动定位行人。在研究领域,行人检测是行人分析任务如行人跟踪、行人重识别等的前置环节。在应用领域,行人检测是自动驾驶、智能安防等系统的重要组成部分。相比人类发达的视觉能力,行人检测算法的错误率还需要进一步降低。行人检测存在两个问题,一是夜间场景下行人置信度低而背景置信度高。二是大规模场景下行人的外观差异性巨大。现有的行人检测算法简单地一对一学习正负样本,缺乏对前景背景的深
学位
近年来,随着疫情形势的愈发严峻和各类疾病的爆发,对于药物的需求愈发突出和显著。目前,新型药物的研制过程成本高、耗时长,所以药物再利用逐渐成为一种研发新型药物分子的可替代方案。该方案的关键在于如何在海量的药物-靶标相互作用关系中快速筛选出具有实际意义的关系对。因此,本文聚焦药物与靶标相互作用(Drug-Target Interaction,DTI)预测这一问题,具有重要的理论研究意义和实际应用价值。
学位
目的:肝内胆管结石是一种常见的胆道系统良性疾病。由于其复杂和易复发性,如何提高该疾病的临床疗效,改善患者的远期预后一直是肝胆外科医师面对的难题。尽管随着内镜器械及影像技术的发展,内窥镜也成为治疗胆道系统疾病的一种方式。但肝切除术依靠其切除病肝,降低复发的优势,仍在肝内胆管结石的治疗中占据不可替代的地位。近年来,随着外科医生腹腔镜手术经验的不断积累,腹腔镜下肝切除的范围不再局限于单个肝叶或肝段。本研
学位
目的:趋化因子配体11(Chemokine ligand 11,CCL11)可以将嗜酸性细胞募集到肿瘤微环境(Tumor microenvironment,TME)中。此前的研究表明,嗜酸性粒细胞在癌症中发挥免疫调节作用。因此,本文旨在研究CCL11在乳腺癌中的表达和对免疫浸润的影响,及其能否作为预后标志物。方法:首先下载TCGA数据库中的m RNA测序数据分析CCL11在各种癌症类型中的表达情况
学位
宏基因组学研究生物环境中所有物种的基因。目前,大量宏基因组对药物的反应、对人体健康的影响的规律仍未被掌握,亟待深化探究。此外,上万的微生物种类,对研究者的研究工作造成了障碍,而简单的根据门类分类进而分析的功能过少,无法挖掘微生物种群与种群间互相作用的深层机理。社区发现算法对大规模菌群物种进行模块划分得到若干个种群,可较好解决此种问题。近年来,随着高通量测序技术的大规模应用及数据量的飞速增长,进行模
学位
目的结直肠癌是结肠和直肠粘膜上皮和腺体发生的恶性肿瘤,发病率和死亡率均较高,累计肝转移超过15%,为很多国家带来了沉重的健康压力。目前,结直肠癌的主要治疗方法为手术治疗+放化疗,但是继续寻找新的治疗方法却从未停止过脚步。本课题主要研究萝卜硫素对结直肠癌细胞系中eIF4F翻译起始复合物的影响,深入研究相关机制,为萝卜硫素在结直肠癌的治疗提供理论依据。方法(1)收集安医大二附院2015-2017年度结
学位
目的:目前临床上对于卵巢囊肿的诊断主要依靠妇科彩超检查,对于肥胖患者而言,由于腹部脂肪较厚,普通妇科彩超对卵巢囊肿的检出率不如经阴道超声,但后者又存在诸多局限性,如患者不配合等。因此我们拟寻找更加便捷可靠的指标对肥胖合并卵巢囊肿患者进行筛,并评估这些指标在肥胖合并卵巢囊肿患者中的筛查价值。方法:回顾性分析2020年1月-2021年3月入住安徽医科大学第二附属医院医院胃肠外科的单纯性肥胖及肥胖合并卵
学位