基于时域-空域-频域的三阶段视频去雨算法

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:chinajolly66
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
降雨会在视频图像上产生明显的条纹,遮挡图像内容,模糊结构信息,导致视频质量退化,进而影响后续计算机视觉系统的信息处理功能。因此,开发高效的视频雨条纹去除算法对保证后续的视觉系统性能至关重要。目前的视频去雨算法可以分为两类:基于模型驱动的算法和基于数据驱动的算法。基于模型驱动的算法通常侧重于利用雨条纹和干净视频间的合理先验。然而,由于结构本身的局限性,去雨效果往往并不理想并且会造成图像背景信息的模糊。对于数据驱动的算法,得益于卷积神经网络强大的学习能力,可以去除形态更复杂的雨条纹。然而,有雨视频中存在的复杂关系并没有得到充分利用,仍有进一步去除雨条纹,提升视频质量的空间。空域、时域和频域是分析和处理视频数据的三个主要方面,为了更充分的利用有雨视频中的信息,本文联合了空域、时域和频域特征,提出了一种用于视频雨条纹去除的时域-空域-频域三阶段去雨网络。网络包括三个分支:时域-空域-频域分支(Temporal-Spatial-Frequency branch)、时域-空域分支(Spatial-Frequency branch)和空域分支。提取当前帧的空域特征是这三个分支的共同目标。在时域-空域-频域分支中,本文使用小波子带对齐模块将输入帧分解为四个不同的子带特征,然后将相邻帧与当前帧的子带特征进行对齐,接着,通过编解码结构提取特征间的时间-频率关系,最后经过解码,利用空间注意力模块提取空间特征。时域-空域分支则用来直接提取连续帧间的时间相关性。此外,在时域-空域-频域分支和时域-空域分支之间,时域-空域分支和空域分支之间都存在交叉特征融合,这对充分利用频域、空域和时域信息非常重要。本文在3个公开数据集上与13种最先进的算法进行了定性和定量的比较。对于定量比较,采用了结构相似性(Structure Similarity Index Measurement)和峰值信噪比(Peak Signal-to-Noise Ration)作为对比的标准,因为人类的视觉系统对亮度更为敏感,因此本文遵循了其他算法仅在图像的亮度通道上计算PSNR的原则。在合成数据集上,本文与之前的最佳结果相比,PSNR分别提升了 0.21dB、5.16dB和1.03dB。在3个数据集上PSNR平均提升了 2.14dB。在真实数据集上,与其他算法比较,本文算法可以更好地处理雨条纹,并保留结构细节。实验结果证明了本文算法的优越性。
其他文献
<正>渝府办发[2021]42号各区县(自治县)人民政府,市政府各部门,有关单位:为顺应消费升级趋势,根据《国务院办公厅关于以新业态新模式引领新型消费加快发展的意见》(国办发[2020]32号)精神,经市政府同意,现就培育发展"巴渝新消费"提出如下实施意见。一、总体要求(一)指导思想。以习近平新时代中国特色社会主义思想为指导,全面贯彻党的十九大和十九届二中、三中、四中、五中全会精神,深化落实习近平
期刊
《红楼梦》整本书阅读考查备受关注,总结浙江各地的期末卷命题的得失,探究优秀命题的趋向和策略,譬如聚焦素养,巧设情境;立足整体,寻找联结;敢于质疑,合理批判。为建构"学教评一体"的整本书教学提供测评上的参考,并给予《红楼梦》阅读教学以更好的导向。
会议
随着人们出行的次数不断增加,公共场合安检压力也逐渐变大。而乘客还是按传统的人工过检方式通过安全检查通道,会消耗大量时间。这样的安全检查方式已经不能满足现代安检要求,因此需要研究对运动中的行人进行快速安检的技术。相比已经投入使用的静止物体毫米波安检成像系统,运动目标的毫米波安检成像系统的技术尚未成熟,现有的成像算法仍在实验研究阶段,本文主要研究了行人毫米波安检成像技术及相关成像算法。论文的主要工作和
学位
军事隐身技术是提高作战平台生存能力的重要一环,在现代军事战争中起到十分关键的作用,频率选择表面作为超材料隐身科学中十分重要的角色,国内外学者对此方面已进行了数十年的研究。随着侦测技术的不断提高,现有的简单的飞机涂层式超材料已无法满足军事中对敌方雷达的隐身需求,这使得新型的频率选择表面的设计成为了越来越热门的话题。本文在基于常规的频率选择表面结构,根据实际应用中不同的工作需求,使频率选择表面拥有多功
学位
光学遥感图像云检测可以看作是遥感图像预处理的步骤。由于地球表面大量存在的云,导致遥感影像不够清晰,存在地物被遮挡的情况。同时,在研究自然环境、气象方面,云检测也是一项必不可少的工作。因此,这是一项十分必要并且有价值的研究课题。在该领域目前已经有了大量的研究,包括传统的云检测方法和基于深度学习的方法。相比之下,基于深度学习的方法检测结果更加准确,是目前的主流研究趋势。因此,本文采用了基于深度学习的方
学位
随着水上旅游业的发展,智慧景区建设也迎来高潮,新能源游船作为水上景区主要交通工具,其航行安全问题备受关注。目前,国内水上景区对于新能源游船摄像头监控信息(音频和视频)的存储缺乏容灾手段,当沉船、爆炸等事故发生时会对监控信息造成损坏,给事故原因的调查造成困难。如何对监控信息进行容灾存储,保证存储数据的实时性和完整性是重要的研究方向。存储数据作为调查事故原因、明确事故责任的重要参考依据,如何保证存储数
学位
在“中国制造2025”的推动下,传统的制造业和物联网、大数据等信息技术相互融合,生产制造的智能化成为了大势所趋。与传统的“先故障后维修”或者定期维修的策略相比,预测性维修能够帮助企业规范生产流程,提高设备利用率,降低生产成本,实现生产制造的智能化。设备在运转时发出的声音信号中包含大量运行状态信息,只要能有效地提取到声音事件中包含的信息,那么工厂就可以对生产设备故障进行分类与识别,就可以有效地提升机
学位
随着机场等公共场合的安全检查工作越来越受到人民群众的重视,主动式毫米波安检技术因具备高效率、安全性等优势而获得飞速发展。但毫米波的波长极短,行人移动很小位置会造成回波相位发生较大变化,导致雷达成像模糊、安检图像质量严重下降。为了提高非合作行人的安检图像质量、使成像清晰,需要我们准确的估计出人体表面任意部位的运动参数。本文的主要工作为:(1)研究了一种基于拟合平面的相机外参标定算法求解多相机位姿,以
学位
随着移动互联网的快速发展,云计算为数字经济的发展带来了新的变革。资源受限的企业和个人用户通过将数据外包到云服务器能够降低本地数据存储和管理的负担。然而,数据外包存储模式使得数据的所有权和管理权相分离,这不可避免地带来了新的安全性挑战。为了保护数据隐私,用户需要在数据外包之前对数据进行加密,但传统的数据加密方法使得密文数据上的检索变得很困难。因此,在云环境下实现安全、高效的密文数据检索已成为云计算领
学位
随着信息技术与软件的高速发展,软件漏洞攻击的逐渐增加,给软件漏洞检测技术带来了前所未有的挑战。基于静态分析与动态分析的传统方法都或多或少的存在检测的准确性差,以及依赖专家知识的问题。与依赖统计特征的机器学习检测方法相比,基于深度学习的检测方式由于其不需要人工提取特征的独特优势,逐渐成为研究的热门方向。现有的深度学习的检测方法主要存在以下几个问题:(1)由于代码文件的非结构化特性,需要选取合适数据预
学位