面向后续任务的图像去雨研究

被引量 : 0次 | 上传用户:YenLoveRicky
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在雨天场景中,雨纹会对采集到的背景图像造成严重的遮挡,导致图像信息模糊、背景能见度下降,从而进一步影响后续任务(目标检测、图像分割)的准确性。因此,单幅图像去雨任务是后续高级视觉任务的预处理步骤,通过去雨预处理操作,可进一步增强后续高级视觉任务的性能。基于数据驱动的深度学习图像去雨算法研究已经成为主流,而深度学习算法的性能主要依赖训练数据的质量和网络模型的设计。本文面向后续任务对预处理算法的部署和泛化性需求,提出了一个轻量化的去雨算法和雨图数据生成技术,并设计了原型系统。具体内容如下:(1)融合视觉显著性的轻量化单幅图像去雨算法。针对现有基于数据驱动的图像去雨算法往往追求复杂庞大的模型设计来提高去雨性能,从而导致参数量过大、运行速度慢,不利于户外设备部署的问题。本文采用扩张卷积、卷积块注意力模块构成轻量化单幅图像去雨算法。其中,不同扩张系数的扩张卷积可以不同尺度地提取输入雨图的上下文信息,逐步提取从局部到全局的空间信息。卷积块注意力模块可以从通道和空间维度上为特征分配不同的权值,指导雨纹去除,同时使网络更易嵌入资源受限的硬件设备中。对合成和真实雨图数据集中的一些典型降雨场景进行大量实验,实验表明,本文提出的融合视觉显著性的轻量化图像去雨算法参数量规模远小于大多数基线去雨算法,同时取得了与基线算法相近的去雨性能。(2)基于卷积稀疏编码的双联合对抗雨图渲染算法。现有主流基于数据驱动的图像去雨算法大都在合成雨图数据集上训练模型,合成雨图中雨纹模式单一,合成雨图的质量会制约图像去雨算法的性能,进一步影响雨天后续高级视觉任务执行。本文从数据的角度提高图像去雨算法的性能,提出基于先验知识引导的雨图渲染算法。采用稀疏噪声和高斯运动模糊核卷积生成初始雨纹,将初始雨纹作为生成对抗网络的输入,在初始雨纹的指导下使网络融入物理先验知识,可以促进网络收敛。同时对双生成器生成的雨图对与真实雨图对进行两次真假判别,可以递进生成具有不同方向、大小、尺度的雨图。大量实验表明,本文提出的雨图渲染模型可以准确地生成与雨数据集统计分布一致,并且具有不同大小、方向、尺度的雨纹类型。将生成的雨图数据集与基准数据集联合训练,可显著提高现有的图像去雨算法性能。(3)联合单幅图像去雨算法与后续高级视觉任务的原型系统。本文使用Py Qt设计了雨天交通场景下的后续高级视觉任务检测系统,可实现对输入雨图进行单一的图像去雨任务、后续高级视觉任务,还可以同时处理图像去雨任务和后续高级视觉任务。系统可直接输出去雨后的图像与相应的目标检测、图像分割的结果。
其他文献
在全国旅游城市竞争日趋激烈的背景下,城市若想发展其旅游经济,城市文化资本是市场竞争中必不可少的砝码。小吃街不再仅仅是居民的休闲场所,更是每个旅游城市中不可或缺的一部分。回看已有的关于城市的研究可以发现,城市空间中蕴含着许多意义与关系,本文将从传播学的视角出发,研究作为媒介的小吃街的空间媒介属性及它的空间生产。笔者主要以参与式观察法去设身处地观察小吃街的文本内容,深度访谈法去与小吃街的活动主体展开交
学位
随着图像/视频传感器及高光谱相机的发展,环境数据信息逐渐呈现多样化和复杂化,能够更加全面精确采集和高效传输数据信息的有向传感器网络(Directional Sensor Networks,DSNs)应运而生。对于环境恶劣、人们无法前往的区域,通常采用大规模随机抛洒的方式部署有向传感器节点构成DSNs,但这往往会产生大量空洞和重叠覆盖区域,无法对监测区域数据进行准确全面的分析。此外,由于节点能量有限
学位
随着传输容量需求的增加,轨道角动量(orbital angular momentum,OAM)逐渐受到关注,作为电磁波的动量属性,它描述了波在传播时波前绕轴旋转的特性。携带OAM的电磁波使用电磁辐射的角动量模式携带信息,对于信息调制有更高的自由度,因此,在目标探测领域具有较好的分辨力。但是由于涡旋波在远距离空间探测时,其衍射特性使得OAM的探测应用发展变缓,此外,对于OAM的探测研究集中在静止目标
学位
物联网作为第五代移动通信的关键场景,海量的通信设备和受限的电池容量对通信系统提出了更高的要求。因此,非正交多址接入(Non-Orthogonal Multiple Access,NOMA)技术和携能通信技术在学术界和工业界都受到了广泛地研究。具体来说,相较于传统的多址接入技术,NOMA利用同一时频资源块来服务多个用户,从而有效地提高了频谱效率。携能通信技术利用无线环境中的射频信号进行能量收集,从而
学位
车辆目标检测和颜色识别作为目标检测的一个分支近些年来对于智能交通管理起着关键的作用。现实生活中,常常会遇到恶劣天气如雨雪雾沙尘等,在这些天气下拍摄的图像质量会大大降低。目前性能优异的目标检测算法大多使用正常天气采集的图像训练,因而若直接使用这些模型去检测,检测精度会大大降低。利用图像处理技术,提高雨天和雾天天气下的车辆目标检测和颜色识别精度对推动交通智能化发展具有重大意义和实际应用价值。本文将围绕
学位
无线传感器网络(Wireless Sensor Networks,WSNs)由大量微小的、低功耗的传感器节点组成,凭借其易于部署以及较强的信息处理能力的优势,经常被应用在战场、边境等敏感区域,用来监测非法入侵者。在上述应用领域中,针对移动目标防入侵监测覆盖优化存在两种方案,一种是如何以最小的代价尽可能快速覆盖整片监测区域,使得非法闯入的移动目标从任何地点进入都能被及时监测到;而另一种则应用于某些特
学位
《义务教育英语课程标准(2022)》指出,词汇教学要结合主题,在课堂话语和学习活动中,有意识地通过对话、讨论等复现所学词语;要让学生在特定的情境中理解和表达意义;要帮助学生在大量的语言实践活动中规范语音;在词汇量和词汇的掌握程度方面较过去有所提高。新课程改革以来,英语教师越来越重视课堂教学活动的设计,课堂教学活动成为英语课堂教学的主要形式,有了明确、清晰的教学目标,教师就可以设计出有针对性、高效的
学位
无线供能反向散射通信(Wirelessly Powered Backscatter Communication,WP-BackCom)是解决大规模物联网能量受限问题的有效技术方案之一,而大规模WP-B ackCom网络的传输性能与具有随机性和不确定性特点的网络空间位置密切相关。虽然已有研究基于随机几何理论刻画了大规模WP-BackCom网络的随机空间位置并分析了网络参数对传输性能的影响机理,但它们
学位
雨天在户外场景中获得的图像质量受损严重,影响后续高级视觉任务(如目标检测、图像分割、图像识别等)的性能,因此单幅图像去雨作为预处理任务具有重要的研究价值。近年来,在单幅图像去雨任务中,基于深度学习的有监督算法表现出卓越的性能,尤其是对合成雨图的去雨。但对于真实雨图去雨的泛化性不强,一般归因于合成雨图像与真实雨图像之间存在域的鸿沟,导致在合成数据集上训练的有监督学习算法的泛化性能得不到保障。此外,在
学位
卫星通信系统在提供全球无缝覆盖方面具有不可替代的优势,已被视作未来通信网络的重要组成部分。近年来,学术界和产业界都大力推进陆地和卫星通信系统的有机融合,以期建成一个基于5G生态系统的全球网络架构。然而,两者在信道特性、系统架构等方面存在较大差异,使得融合系统构建面临着巨大的困难和挑战,尤其是一些空口关键技术问题仍有待解决,例如随机接入技术。考虑到卫星信道区别于陆地系统的大频偏、大时延、大损耗等特性
学位