基于时空深度神经网络的视频显著目标检测方法

来源 :深圳大学 | 被引量 : 0次 | 上传用户:ddd12322
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
显著性目标检测旨在确定自然场景中最能吸引人们注意力的目标区域。相比高层的图像理解算法,如目标检测、目标跟踪、图像检索,显著性目标检测属于底层的图像处理方法,可以利用其结果提升其他图像算法的速度和精度。根据显著性算法的输入数据不同,显著性目标检测可以分为图像显著性目标检测和视频显著性目标检测。相比图像显著性,视频显著性需要同时考虑单帧图像的空间特性和视频序列的时序特性,其计算复杂,挑战性高。本文的研究重点即为视频显著性目标检测。最近几年,基于深度学习的方法已成为各种视觉任务的研究热点。然而,现阶段基于深度学习的视频显著性检测仍存在以下难点:1)训练数据不足。深度网络是数据驱动的模型,需要使用大量的标记样本来完成网络训练。在视频显著性检测中,训练数据需要连续且像素级标定。然而,获取这样的标定数据困难。2)缺少鲁棒性高的时序特征。视频显著性不仅需要提取静态特征,而且需要考虑更为复杂的时序特征。传统的深度结构很难获取鲁棒的时序特征。3)空间信息与时间信息之间的相关性探索不足。现有方法对所提取的深度空间与时间特征多采用直接加权的方式融合,没有对两者之间的相关性进行深入探讨。本文针对上述三个问题展开研究,提出新颖的深度网络结构,逐渐地提升视频显著性目标检测方法的性能与效率。本文主要的研究内容可以概括如下:1)提出了基于弱监督学习的深度级联显著性检测网络。针对训练数据不足,提出基于弱监督学习的方法,在网络训练的过程中产生大量的弱标签,利用这些弱标签完成网络的训练。此外,提出了一个新型的级联深度网络,其结构包括两个深度子网,子网一生成静态先验,它与光流生成的运动先验融合成时空先验,子网二由该时空先验引导学习时空特征,从而生成准确率较高的显著图。2)提出了基于双流子网的视频显著性检测方法。该双流子网采用并行模式,采用两个子网分别提取视频的空间特征和时间特征。这些时空特征采用不同的时序结构予以精炼。在网络的后端,利用一个注意力模块,通过学习空间与时间特征之间的相关性实现特征的融合,生成鲁棒的融合时空特征。3)提出了帧间时空特征增强的视频显著性检测网络,以解决连续视频序列中存在显著目标消失的现象。帧间时空特征增强网络主要利用帧间特征聚合和历史显著图监督来提升当前帧的特征值,增强时空特征的鲁棒性。为进一步探索时间特征与空间特征之间的相互关系,提出了一个互相关注意力模型,用以自动学习时空特征的权重,从而实现时空特征的智能融合。该方法能进一步提升视频显著性检测的准确率与算法效率。4)提出了基于时空蒸馏的快速轻量级视频显著性检测方法。该方法一方面采用多尺度特征编码与空域蒸馏精炼深度网络的空间特征,另一方面采用帧间特征嵌入的时域蒸馏使网络获得鲁棒的时序特征。由于没有引入任何的时序特征提取结构,例如光流模块、循环结构体,提出的轻量级网络既可保证网络的性能,又能大幅地提升网络的处理效率。
其他文献
学位
家长教育惩戒是教师教育惩戒得以有效贯彻的协同支持体系,存在已久却问题良多。作为家庭教育管理的具体化实行方式,家长教育惩戒的问题根源离不开我国正处于社会转型期这一社会文化背景。转型期间家长的教育惩戒存在认识不足、家长教育管理者角色缺失、家长教育惩戒不在场以及教育惩戒的非规范性四大困境。走出困境的出路在于转变家长教育惩戒观念、优化家长教育惩戒实施路径,并在此基础上探索具有中国特色的家长教育惩戒理论体系
随着我国教育事业的不断发展,教师在教学活动当中的各项权利与义务逐渐得到了人们的重视。在这其中,如何有效地实施教师教育惩戒权,在确保教育目标达到的同时,平衡好教师教育惩戒过度和惩戒缺位之间的平衡,就成为了当前许多教育从业人士首要关心的问题。教师实施教育惩戒权,能够在一定程度上引导学生意识到自己的错误,并且及时加以改正。但是同时教师教育惩戒权的实施,需要遵循一定的教育底线,要以人权意识为根本保障,要以
改革开放以来,我国逐步建立起了以市场机制为基础的资源配置方式,为中国经济获得近40年的高速增长,但“中国式赶超”的结果也使得积累了40年的体制性、结构性问题日渐暴露,特别是市场要素配置效率问题日益凸显。我们发现如下关于中国问题的几个基本事实:(1)中国目前要素市场改革尚不完善。在中国的经济转型过程中,各种要素资源在企业之间的配置往往受到所有制性质的约束和影响。虽然产品市场由计划向市场的转型基本完成
图像去噪作为一种预处理在数字图像分析中发挥着重要作用。尽管人们可以通过改进相机的性能来提高图像质量,但在许多应用中需要对图像的内容进行增强来实现图像在不同领域的应用。由于图像在获取和传输过程中受到相机震动等的干扰,以及大量图像和视频是在恶劣条件下拍摄获得的,因此在对图像内容进行识别等后续处理之前必须对图像进行有效去噪处理。按来源,图像的噪声可分为加性噪声、乘性噪声以及混合噪声。图像去噪过程是针对不
数字图像是现代隐写术的主要载体。互联网巨量的图像数据和种类繁多的图像隐写工具,使人们很容易对图像进行信息隐藏和传播。图像隐写不单单可用于保护私人隐秘通信等合法活动,也可能被用于掩盖商业间谍活动和传递恐怖袭击信息等非法活动。当图像隐写术被恶意使用时,将造成极其严重的社会危害。然而复杂的场景和巨量的数据导致目前图像隐写分析方面临着许多困难。实际的隐写分析场景需要对大量JPEG图像进行检测,而已有的JP
幸福是人类的终极追求目标。特别是随着经济的发展和物质的繁荣,人们开始从单纯追求基本需求的满足转向关注幸福。越来越多的政府机构和政策制定者开始认识到,通过幸福感来评价社会进步、社会发展和政府政策等,而不是仅仅通过经济产出如GDP等指标,是一种更为有效和更有意义的方式。例如,联合国开发计划署(UNDP)在《1990年人文发展报告》中提出利用人类发展指数(Human Development Index)
荧光技术包括荧光光谱、激光共聚焦显微镜技术、荧光定量PCR、和荧光各向异性等,其广泛应用于生物化学及分子生物学研究中,是研究生物大分子的结构和功能,以及分子间相互作用的重要手段之一。microRNA(miRNA)是一类长约20-24 nt的非编码小分子RNA,于转录后水平上负调控靶mRNA从而影响基因的表达,对生物的生长、发育、分化等生命活动起重要调控作用。在动植物中,miRNA的生物合成途径已被
基于光栅的X射线相衬像对关节中的软骨具有较吸收像更好的成像效果,对和软骨相关的疾病如关节炎等具有潜在的应用价值。而基于光栅的X射线暗场像则在检测肺气肿、肺部纤维化、肺部肿瘤和乳腺微钙化等方面取得了不错的实验结果。X射线相衬成像和暗场成像除了可以使用传统的Talbot-Lau干涉仪外,还可以利用双相位光栅干涉仪和非相干X射线成像系统。双相位光栅干涉仪较Talbot-Lau干涉仪的优点是可以不需要分析
近年来,窄线宽光纤光栅激光器以其单频、窄线宽、超低噪声、抗干扰性强以及超高单色性、超高相干性等特性而被广泛地应用于现代信息社会之中,如在光纤通信系统、光纤传感器、相干激光雷达、微波光子系统以及太赫兹等领域。本文系统地研究了一种利用有源相移光纤光栅作为谐振腔的窄线宽光纤激光器,并探索其在传感领域的应用。本文在相移光纤光栅的理论仿真及制备、光纤激光器谐振腔结构优化与线宽测试、激光器双折射调控与偏振特性