基于数据增强与图卷积的视频显著性检测算法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:nalbuphine
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着视频数据的爆炸式增长,在保证主要信息的前提下简化信息提取过程成为了研究热点。人类的视觉注意机制不仅能够提取图像、视频等视觉媒介的重要数据信息,而且可为基于深度学习的计算机视觉问题提供解释性,故利用计算机模拟视觉注意机制的视频显著性检测算法被大量提出,但是缺少足够大且密集标注的视频数据的问题限制了视频显著性检测任务的发展。因此,本文提出了基于数据增强和图卷积网络的视频显著性检测算法,解决视频显著性检测训练数据缺失的问题并将图卷积应用于视频显著性检测领域:1.基于数据增强的视频显著性检测算法。本文基于光流预测设计了一种数据增强算法。该算法包括一个运动预测模块和光流转换模块,运动预测模块使用光流预测网络快速有效地得到单帧图像的光流图,光流转换模块通过光流图中的运动信息将单张图像转换得到下一帧视频帧。此外,为了验证所提算法的有效性,使用基于全卷积网络的基准视频显著性检测网络进行消融实验以及与其他数据增强方法的对比实验,实验结果证明本文所提的数据增强方法能够生成接近于真实运动场景的视频帧对,有效扩充了视频显著性训练样本的数量。2.基于图卷积网络的视频显著性检测算法。本文将图卷积网络应用于视频显著性检测领域,视频帧进行超像素分割,提取像素级的空间特征及时间特征,将欧式距离的视频帧数据转换成非欧式距离的全连接图数据;图卷积网络通过级联的超像素聚合模块构建局部区域,逐层提取深层次特征;图卷积网络根据时空特征,以具有相似特征的局部区域作为独立单元预测显著性,避免了固定卷积核结构的卷积操作对不同物体区域进行特征提取造成的边缘模糊,因此本文引入卷积神经网络检测结果图与图卷积网络检测结果图融合机制以得到更好的显著性检测结果。多组实验验证了所提算法在客观结果和主观结果均优于多数现有视频显著性检测算法。
其他文献
交通运输是产生碳排放的主要领域之一,也是受气候变化影响最显著的行业之一。中国交通运输领域在减缓和适应气候变化方面仍面临诸多问题和挑战,交通运输应对气候变化的政策工具、手段措施、基础能力等还存在一些不足。该文从减缓和适应2个角度出发,梳理了各国在应对气候变化领域开展的政策与行动,分析了中国交通运输领域应对气候变化的工作基础及存在的问题,提出了交通运输减缓和适应气候变化的重点领域、总体策略和路径,以及
期刊
为了研究自身免疫力对大型传染病传播的影响,建立了易感者、密接者、感染者和恢复者4种人群的传染病模型,给出基本再生数并讨论了无病平衡点和地方病平衡点的稳定性.当自身免疫力小于min{μ1,μ2,μ3}时传染病会蔓延开来,但当自身免疫力大于μ*时传染病会逐渐消失,加速推进体卫融合,提高机体自身免疫力的重要性就凸显出来,为我国体卫融合健康发展提供参考.
期刊
近年来,图像处理技术的发展和应用推动了大型变电站场景下数据采集、监测向智能化及自动化方向发展。真实复杂环境下,变电站场景中的仪表图像采集过程可能存在的形变、反光、光照变化和小物体遮挡等情况,致使基于这些图像得到的仪表读数准确性、泛化性较差。现有的智能化指针式仪表读数算法均无法从真实复杂的环境中准确地获取仪表读数。为了解决真实复杂环境中指针式仪表准确读数问题,本文从图像反光去除与指针式仪表读数两个方
学位
随着深度学习技术的不断发展,卷积神经网络在去模糊领域取得了显著的成果,但是去模糊领域仍然存在许多挑战。有效的去模糊网络设计,合适的损失函数选取,以及如何复原出更丰富的图像细节成为去模糊领域亟需解决的问题。论文针对单幅图像盲去模糊算法进行研究,重点探索基于深度卷积神经网络的端到端去模糊方法,并基于卷积神经网络,提出两种新的去模糊网络模型,主要工作如下:针对去模糊网络通常对特征图进行下采样,导致在学习
学位
目标检测是计算机视觉中最重要且最基本的任务,其目的是识别出给定图像中物体的类别及位置。随着神经网络的大规模应用,图像目标检测技术已经取得了长足的进步。通用的目标检测算法框架一般由以下几个部分组成:特征提取模块、特征融合模块和分类/回归模块。特征融合模块因为具有较高的设计灵活性,并且对算法性能有较大的影响,所以一直是检测算法中的研究热点之一。如何设计高效的特征融合模块也因此成为目标检测算法中需要重点
学位
针对传统的网络性能相似性评价方法从数据整体进行分析,存在无法描述局部特征且忽略了各个变量间影响与联系等问题,文中提出一种基于网络性能评价的多元时序相似度算法。通过异常检测和聚类的方法提取时序的关键信息,在此基础上,采用MDTW算法对模式表示后的多元时序进行相似性度量,结合被动测量的方式采集相关数据进行实验分析。实验结果表明,基于网络性能评价的多元时序相似度算法相较于传统DTW算法,准确率提高约14
期刊
辐射源个体识别能够根据接收信号,识别信号的发射源个体,从而简化无线通信网络用户身份认证过程,提高网络安全性,实现低时延高可靠通信。在军事领域,辐射源个体识别能提高电子侦察、电子对抗的性能。开展辐射源个体识别技术研究具有重要的理论和实用价值。首先,针对同型号的不同辐射源个体间差异微小、难以识别问题,本文设计了基于短时傅立叶变换(Short-time Fourier Transform,STFT)的预
学位
在雾霾等天气条件下采集到的图像存在颜色失真、细节模糊、对比度低等问题,严重影响和限制户外计算机视觉系统发挥作用。因此,研究图像去雾具有重要的理论意义和应用价值。论文对基于物理模型的方法和基于深度学习的方法进行研究,并提出两种去雾新思路,主要工作如下:针对雾天图像对比度低、颜色失真等问题,论文提出一种基于中通道补偿的单幅图像去雾方法。为使去雾图像保持更多细节,将图像分解为纹理层和结构层,对含有大部分
学位
近年来,随着人类对海洋资源探索的不断深入,水声传感器网络(UASN)逐渐成为了研究热点。为了保障水下节点收集到的数据能够有效的传递给目的节点,设计一个高效、可靠的路由协议是十分必要的。然而,考虑到UASN中网络拓扑不确定性、节点能量有限性以及水声信道环境的复杂性,水声传感器网络路由过程中存在端到端延时长、路径不稳定以及路由空洞等问题。本文针对UASN中的网络寿命短以及路由空洞等问题,分别从设计静态
学位
当前,立体图像技术不断发展,各种立体图像或视频应用丰富着我们的日常生活。然而立体图像在采集、传输或处理等过程中,可能会受到各种失真的影响,导致图像质量下降,影响用户体验。因此,对立体图像进行质量评估具有重要的现实意义。目前,基于卷积神经网络的立体图像质量评价方法具有出色的评估性能和更强的竞争力。由于立体图像双视图构成的独特性,双目感知过程成为评估图像质量的重要因素。因此,本文利用卷积神经网络挖掘双
学位