面向复杂场景的单图像深度去雨技术研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:supermilk009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
单图像去雨技术主要研究如何从具有复杂分布的雨图中提取出雨纹信息,同时复原出干净背景,这对提升底层视觉感知和高层认知理解能力具有重要意义。和传统的单图像去雨方法相比,基于深度学习的单图像去雨技术已取得突破性进展。但是由于雨图分布的多样性与复杂性,以及应用场景的日益复杂化,单图像去雨领域仍有一些挑战性问题亟待解决:(1)现有图像去雨方法大多采用监督学习方式,即训练数据为合成的配对数据,但是合成数据的雨分布与真实雨分布存在很大差异,导致其在真实场景中的泛化性较差;(2)现有研究大多集中于消除单一类型的雨退化,无法同时处理多种类型的雨退化(如雨纹、雨滴和雨雾等),导致其在真实场景中的鲁棒性不足;(3)现有研究大多只是单纯考虑单图像去雨任务,忽略了与高层视觉任务的交互和联系,导致去雨结果在后续高层任务上的性能欠佳。本文将上述三个挑战性问题归纳为复杂场景中的真实场景去雨泛化性差、多退化类型去雨鲁棒性差,以及去雨与高层任务间缺协同交互。三个问题联系紧密且难度由浅入深,从单一雨退化场景拓展到多种雨退化场景,进而拓展到底层和高层任务协同场景。针对上述问题,本文系统提出相应的创新策略,主要贡献总结如下:(1)针对深度监督去雨方法过度依赖合成的配对数据,以及合成数据和真实数据分布差异过大导致的模型泛化性差的问题,本文在第三章重点探讨基于非配对数据的无监督深度去雨模式,系统提出了一种基于无监督雨纹注意力检测器的单图像去雨与雨生成算法Derain Cycle GAN。该方法充分利用了Cycle GAN的循环结构和迁移学习能力来进行无监督模式下的训练学习;设计了一种无监督雨纹注意力检测器(URAD),通过同时关注有雨图和无雨图来增强雨纹信息检测能力。在无监督模式下,该方法可学习到真实场景雨图的分布,因此模型具有强大的泛化能力。此外,还提出了一种新的可自动生成多样化雨纹的合成方式,生成的雨纹具有更加复杂的形状和方向,可以帮助现有监督方法更好地泛化到真实的雨图上。(2)针对现有大部分深度去雨方法只能处理单一雨退化类型(如雨纹或雨滴),以及在真实场景上的去雨鲁棒性不足的问题,本文在第四章重点探讨多种雨退化现象的处理方法,系统提出了一种可处理多种雨退化类型的鲁棒性单图像去雨方法Rad Net。该方法首先设计了一个轻量级的鲁棒注意力模块RAM,采用的通用注意力机制可同时关注雨纹和雨滴;此外,提出了一个基于双通道残差密集块的多尺度深度复原模块DRM,可用于精确去除雨纹。该模型具有强大的鲁棒性,不仅可以处理不同类型的雨退化现象,包括雨滴、雨纹,或两者兼而有之,还可以有效处理不同的数据范式,包括单一类型、叠加类型和混合类型。(3)针对现有深度去雨方法大多只关注底层复原效果,忽略了与高层语义信息进行交互,导致复原结果在后续高层任务上性能不足的问题,本文在第五章重点探讨图像去雨与语义分割任务的协同交互,系统提出了一种基于高层语义分割信息引导的单图像去雨方法SGINet。该方法设计了一种三阶段去雨方式,先基于设计的全分辨率模块FRM来预测没有上下文语义损失的粗糙去雨图像,然后利用预训练好的语义提取模块SEM提取粗糙去雨图像中的语义信息,再通过语义交互模块SIM实现语义分割信息引导下的去雨。通过衔接去雨和语义分割任务,该方法可同时取得更好的去雨结果和高层语义分割结果。此外,还基于Cityscapes数据集构建了合成雨图数据集Cityscapes_syn和真实雨图数据集Cityscapes_real,可用于同时评价图像去雨任务和语义分割任务的性能。
其他文献
在第五代移动通信(The Fifth Generation Mobile Communication,5G)时代,通信规模不断扩大,节点密度持续增加。相比城市中完善的通信体系,偏远地区的基建会遇到包括交通与成本等更多挑战,但该类地区又往往存在持续性大规模监测的需求。因此,利用低成本无人机巡航技术为偏远地区传感网提供通信服务的方案应运而生。在后5G(Beyond 5G,B5G)时代,空天地通信一体化
学位
传统机器学习算法大多假设训练数据(源领域)和测试数据(目标领域)是独立同分布的。然而,现实数据多在开放动态环境中收集,使得源领域数据分布有别于目标领域数据分布。领域适应(Domain Adaptation)方法利用标记丰富的源领域来辅助具有相似分布的未标记的目标领域的学习,以有效缓解数据分布偏移问题。已有的领域适应方法大多聚焦于学习领域间不变特征表示,以缩小领域间数据分布差异。然而,这些方法在对齐
学位
随着国家“双碳”政策的落地实施,全社会的降碳成为重要的任务。建设“双碳”时代高校低碳校园需要结合校园的碳排放构成及特点,科学分析降碳路径,通过碳核算等手段分析碳排放敏感因子,再结合经济技术分析,采用最优降碳技术,注重全过程降碳,营造低碳校园文化,最终实现低碳校园的目标。
期刊
我国开始进入城市化快速发展的中后期,土地资源有限,城市更新加速。未来社区是近年来中国大城市新型社区发展方向。成都作为中国西部的中心城市,致力于发展公园城市。本文主要研究成都新都区的城市更新背景下的未来公园社区规划设计理念。本文以“成都市新都区未来公园社区规划”项目为例,探讨了未来公园社区的发展策略、设计特色和场景营造等内容,包括生态、绿色、智能、共享和人文等方面。
期刊
近几十年来,随着集成电路在工艺上的不断突破,计算机的算力实现了大幅增强,深度学习技术也随之得到了迅速发展。在图像领域,深度学习技术在诸多交叉学科都取得了优秀的图像降噪成果。在X射线成像领域,X射线光栅相位衬度成像被普遍认为是最有应用前景的成像技术之一,能够兼容常规X射线源并实现了软组织的多衬度成像,在临床医学、材料科学和工业无损检测等领域有着广泛的应用。在X射线光栅相衬成像中,多衬度图像不可避免地
学位
随着智能手机、数码相机等移动成像设备的日益普及,人们越来越多地通过图像来记录并传递信息,获取满足需求的高质量图像一直是人们关注的重要问题。然而在实际成像过程中有多种因素均会导致图像模糊,如相机曝光中被拍摄物体与相机传感器的相对运动、相机失焦、景深变化等。模糊的图像损失了原有的大量内容,影响人们对图像所传达信息的理解。因此,从模糊图像中恢复出清晰图像具有重要的研究价值,同时也是数字图像处理及计算机视
学位
阅读作为核心课程是小学语文课程中非常重要的一部分,通过阅读,学生可以提高阅读能力,为进一步学习奠定基础。随着新课程标准的出台,当前的教学环境发生了变化,如何在新时期提高小学语文教学的有效性,成为小学语文教师反思的重点问题之一。教师应以语文教材为指导,创新教学方法。本文首先分析了小学阅读教学的现状和新课程标准对小学阅读教学的影响,以及对小学阅读的启示。在此基础上,提出了一个在小学实施阅读教学的策略。
会议
对木构件的无损检测是对古建筑木结构安全性评定、下一步保护修缮工作开展的基础。本文归纳总结了木材常用无损检测方法的原理,并结合各种无损检测方法的特点、木构件缺陷形式、现场检测条件等分析了各种方法在木构件无损检测中的应用,并总结出木构件无损检测技术的局限性,为进一步的研究方向提供参考。
期刊
图模式匹配技术广泛应用于生物数据分析、网络安全监测、社交网络分析等领域。传统的图模式匹配致力于发现与指定模式图同构的子图,是一个NP完全问题,很难应用于更加注重语义匹配的社交网络应用和大规模图数据上。多约束图模式匹配通过对模式图中节点和边进行多属性约束的方式很好的适应了社交网络对语义匹配的需要。且多约束路径匹配使得图模式匹配更加灵活,对模式图的语义进行多重约束的方式也更加契合大数据时代对数据精准分
学位
随着集成电路与计算机视觉技术的迅猛发展,有关视频序列的前背景分割、基于深度图绘制中的深度信息估计及空洞修复等研究已成为图像处理领域重要的研究内容,其相关技术已广泛应用于智能交通、安防及医疗等领域。论文研究的主要内容是图像的前背景分割、深度信息估计及空洞填补等进行高层建模与仿真,为后续的硬件电路实现奠定基础。论文主要的创新研究成果如下:(1)在前背景分割中,有些场景中会出现动态背景的干扰。一些方法在
学位