基于深度学习的高效视觉信号去雨理论与方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:bjbysj44
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
雨天采集的图像和视频中,视觉内容极易受到雨水遮挡,能见度低,为我们正确理解视觉信号内容带来了巨大挑战,迫切需要高效的视觉信号去雨方法。然而,由于雨水在时空域的外观变化剧烈,且分布不尽相同,为我们有效去除雨水,并保护无雨区域的纹理细节带来了诸多困难。为了解决上述问题,本文从刻画雨水在图像视频中的时空域变化特点出发,展开了视觉信号去雨算法研究:(1)针对雨水在空域上分布不均、外观各异的特点,提出了基于区域自适应融合模型的图像去雨算法,并通过捕捉雨的空间分布情况来对图像的不同区域采用不同的处理方式。该模型由耦合结构的双分支深度神经网络构成,其中一个分支修复雨水遮挡区域,另一个分支生成融合权重。两个分支通过逐层特征的交替共享来建立耦合关系,一方面,权重分支可以引导修复分支关注需要修复的区域,另一方面,修复分支可以引导权重分支避开过滤波和欠滤波区域,最终的去雨结果由输入有雨图像与网络去雨图像的加权融合获得。(2)针对视频中,雨水遮挡区域随时域变化而周期性复现的特点,提出了基于前向匹配替换的视频去雨算法:把第一帧输入图像当做去雨图像,即不做处理,从第二帧输入图像开始,去雨时,首先将前一帧去雨图像向当前帧有雨图像对齐,然后将当前帧图像的有雨区域替换为前一帧图像的对应无雨区域,以此完成当前帧图像的去雨。在近邻图像对齐中,本文提出了一种基于图像金字塔的多尺度光流估计方法,可实现由粗到细的渐进式光流估计,从而提升图像对齐精度,为视频去雨提供重要保证。(3)针对视频中,场景切换或目标遮挡造成的近邻帧单向失配难题,提出了基于双向匹配替换的视频去雨算法:首先将前后两帧相邻图像均向当前帧图像对齐,并根据对齐情况和雨的分布情况自适应融合前后两帧图像,具体地,对齐精度高的像素以及被雨遮挡程度低的像素融合时权重更大,反之权重更小。通过两帧图像的互补减少失配区域,最后将融合图像作为当前帧图像的参考图像,完成当前帧图像的有雨区域的替换。
其他文献
自动驾驶汽车控制系统是一种自主决策系统,它主要处理来自车载雷达和视觉检测传感器的观测流。目前基于车载雷达的目标检测技术已经相对成熟,为了完善整套自动驾驶系统,对于卷积神经网络的视觉检测性能要求也在不断提高。在视觉检测领域,已经出现了众多高精度的目标检测网络,例如YOLO等网络,但这类网络结构复杂度高,无法有效地嵌入到小型处理器中进行实时使用。在自动驾驶的视觉系统中,车载雷达摄像头的处理器属于小型处
近年来,随着诱饵技术的蓬勃发展,传统的针对目标外形特征和红外特征的弹道目标识别已经应用较少。此时,利用目标的微动特征进行目标识别的方法受到了国内外学者的重点关注。弹道目标的微动特征体现了目标的微动形式以及部分构件的特征,可以反映弹道目标中弹头和诱饵的差异。因此,本文主要研究了中段弹道目标的平动补偿算法以及从平动补偿后的微多普勒中提取特征进行弹道目标识别的算法。主要研究内容如下:1.研究了进动、摆动
空间谱估计是阵列信号处理的一个重要分支,广泛应用于雷达、通信等各个领域。传统的空间谱估计算法是模型驱动的,即根据预先建立的函数模型与接收信号之间的匹配情况对空域参数进行估计。然而当阵列流形存在误差时,模型与数据的匹配失效,使得该类算法的性能明显降低。为了解决这个问题,本文运用机器学习方法构建网络模型直接学习接收信号与空域参数之间的非线性关系,实现误差条件下的波达方向估计。本文围绕空间谱估计问题,结
临床医学中眼底图像能反映各种疾病的早期症状,眼科医生可通过视网膜血管实现早期诊断。现实世界中视网膜血管结构复杂且医师在诊断时具备主观性,因此设计一种视网膜血管自动分割方法对于减轻医师负担和早期诊断至关重要。当前医学图像领域中深度学习已成为主流方法,它相较于传统分割方法避免了人工提取特征的过程,使得最终分割结果更为客观。本文基于上述背景,采用深度学习从以下三个方面进行视网膜血管分割研究:1.基于编码
分类是机器学习领域经典而核心的问题,也是人脸识别、图像分割、目标重识别、目标检测等复杂任务的基础,分类结果的质量好坏直接关系着上层复杂任务的性能。随着社会和科学的不断发展,日益增长的人工智能和深度学习的工程应用对分类这一基础任务的性能(泛化性及鲁棒性)也提出了更高的要求。本文以基于深度学习的大间隔分类方法为研究课题,着眼于广泛使用的Softmax交叉熵损失函数的分类方法,重点研究在当下大间隔分类方
随着物联网技术的蓬勃发展,基于室内位置服务的市场需求与日俱增。室内定位中的指纹式定位方法因其在复杂的室内环境中抗干扰能力强得到广泛应用。传统的指纹式室内定位算法假设离线建库阶段的信号强度分布与在线定位阶段的信号强度分布是一致的。然而,信号强度分布经常因环境变化、设备异构等因素发生变化,此外无线接入点的缺失或新增会导致特征维度异构。迁移学习通过将源域的知识迁移到目标域中可以减轻环境变化和设备异构引起
分布式阵列是当下研究热点。分布式阵列的协作波束成形技术用于通信网络中信号的定向发送和接收,通过多天线发送相同的信息,将多路信号进行合成,得到所需的理想数据信号。每个传输节点作为单独的发送端同时发送。由于传输节点的不同在频率、时间、相位上存在偏差,导致接收端信号强度损失。此外,在现实的阵列系统中,受到阵列几何不确定性以及电磁耦合等多方面因素影响,阵列误差广泛地存在且不可避免。各类算法基于理想化所建立
目前,深度学习算法已经广泛应用于SAR(Synthetic Aperture Radar)图像的舰船目标检测领域。不过,由于舰船目标在SAR图像中呈现分布稀疏、尺寸差异大、长宽比悬殊等特点,这导致传统Faster R-CNN算法检测这种类型的舰船目标时存在准确率低、漏检率高等问题。针对上述问题,本文开展的主要工作如下:首先,针对传统Faster R-CNN算法在检测舰船目标存在的局限性,提出了一种
随着社交媒体成为主流传播途径,信息量远超人工审核能力。同时,确保信息有效性是保障社会公序良俗的关键,因此遏制假新闻传播已成为亟待解决的问题。但假新闻数量多、形式杂导致难以进行有效监管。传统方法通过概率模型进行判别,但模型搭建难、技术落地成本高且效果不理想。本文聚焦于新闻真实性鉴别,以多特征融合方法为主要研究方法,基于深度学习的方法,搭建了新闻实体鉴别模型以及新闻图像鉴别模型。(1)多特征融合新闻真
多源传感器管理通过资源分配支撑传感器网络完成多目标跟踪及多目标分类等任务,并且通过多任务调度提高系统响应速度。本文对多目标跟踪及多目标分类下的传感器部署分配以及多任务调度进行研究,提出两种算法及一种模型。主要工作及成果包括:1、针对多目标跟踪情景中传感器应当采取何种策略选取哪个或哪几个目标进行跟踪的问题,本文设计模糊逻辑系统从目标与传感器之间的距离、目标的速度、加速度以及航向角四个维度来量化目标威