结合自注意力和边缘网络的视频显著性检测

来源 :河北工业大学 | 被引量 : 0次 | 上传用户:wangcong1001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频显著物体检测旨在利用计算机快速有效地从视频中获取感兴趣区域,有助于后续的目标提取或者定位等处理,在目标追踪、视频监控等领域中广泛应用。视频显著性检测由于摄像机抖动、光线变化和多目标的运动等因素,容易产生物体形变和模糊,并形成无意义背景干扰,造成多显著性目标视频的检测不全和目标边缘不清晰的问题,这在视频显著性检测领域是一个具有挑战性的问题。针对视频显著目标检测不全和边缘不清晰问题,本文提出基于边缘检测和自学习注意力模块的视频显著物体检测模型(Salient Object Edge Detection,SOED),在深度学习模型中嵌入边缘检测模块和自学习注意力模块,用于解决复杂场景中的显著性物体边缘不清晰和显著目标检测不完全问题。本文主要的工作和创新点如下:本文提出了基于自学习注意力的多尺度融合视频显著性物体检测方法,用于解决显著目标的边缘不清晰问题。通过对不同尺度的特征根据自学习注意力机制进行权值的分配,从而获取体现时空信息的特征。首先,利用残差神经网络来获取初始特征尺度的空间特征信息,其次通过四个不同扩张率的扩张卷积结合自学习权重矩阵来获取不同尺度的空间特征信息,之后将这五个特征尺度的特征图进行串联,随后输入到卷积长短期记忆网络(Convolutional LSTM Network,Conv LSTM)中去提取时间信息并融合为最终时空显著图。为了有效解决自学习注意力模块的多尺度融合方法不能完全检测出所有的显著性目标问题,提出了结合自注意力和边缘网络的视频显著性检测网络。在基于自学习注意力的多尺度融合的基础上将输出的特征输入到两个分支中,一个分支用于提取时空信息,另一分支输入到边缘检测模块(Deep Salient Edge Detection,DSED)中去获取视频帧中显著性物体的轮廓边缘信息,最终两个分支用边缘信息去指导最终显著图的生成。本文在DAVIS、Vi Sal和DAVSOD数据集上进行了消融实验,评估了DSED模块的性能。并且与主流算法在六个公开的数据集(以上的三个再加上FBMS、DAVIS和Segtrackv2)进行了对比实验,用来验证本模型在多显著性目标的视频场景下能准确的检测出多个显著性目标和清晰的边缘。实验结果表明,本模型与主流模型相比均具有一定的有效性和竞争力。
其他文献
目前,电子器件的主流芯片依然采用65/45 nm制程工艺,集成电路多层布线平坦化过程中所用耗材仍然依赖进口,国产化率非常低。化学机械抛光(CMP)是实现多层铜布线互连结构平坦化的关键技术,且三步CMP过程中最后一步阻挡层抛光性能的好坏直接决定了器件的良品率。由于钽(Ta)基阻挡层CMP过程中涉及到铜(Cu)、Ta、正硅酸乙酯(TEOS)三种材料,其速率的差异性直接影响抛光后碟形坑和腐蚀坑的大小,而
学位
钙钛矿半导体纳米材料具有高量子产率、窄半峰宽、发光范围可调,载流子迁移速率快等卓越的光学性能,广泛的应用在太阳能电池、发光二极管和光催化等领域。但是钙钛矿材料还存在一些缺点:三维卤化铅钙钛矿材料反应动力学尚不清楚,由于反应速度过快导致产生很多缺陷,影响发光性能,尤其是蓝光钙钛矿的效率,相比于红光和绿光钙钛矿要低很多。另外,在某些条件下,零维钙钛矿Cs4PbBr6和三维钙钛矿Cs PbBr3可以相互
学位
本文拟结合我国现行法律规定以及司法实践现状,并借鉴域外法经验,考察关联交易公平性审查中的实质标准。引言以下,全文主要分为四个部分:第一部分,关联交易公平性实质审查的合理性。首先,资本过度逐利的自私本性使公司在自主经营的过程中不能有效保障关联交易的公平性;其次,仅依据程序判断标准无法单独保障关联交易的公平性;最后,若出现不公平关联交易,受害主体启动事后救济程序往往不足以保护其受损利益;因此对关联交易
学位
磷化铟(InP)是一种具有诸多优异特性的Ⅲ-Ⅴ族化合物半导体材料,广泛应用于光电子与微电子领域。InP晶体生长过程中多种因素往往引起晶体中杂质分布不均,从而影响晶体性能。此外,熔体组分配比能够影响晶体中不同缺陷的产生、分布及杂质的存在形式。为澄清影响InP晶体不均匀的主要因素,本文采用液封直拉(LEC)法和垂直梯度凝固(VGF)法制备了不同化学配比的InP晶体,并对不同化学配比的晶体均匀性及Fe激
学位
创新是引领发展的第一动力,是推动社会进步、促进企业持续发展的源泉动力。当前,我国经济处于“新常态”下,经济要从原先的高数量发展模式向高质量发展模式转变,而企业作为市场经济的主体,这就要求企业由原先的以投资规模、生产要素为驱动的发展模式,逐步转向以科技创新为主要方式的新发展模式,不断推动企业高质量发展。根据国家统计局科研经费数据显示,我国企业科研经费投入逐年上升,这其中70%都是来自高新技术企业,高
学位
人体姿态估计是计算机视觉领域的一项重要任务,其目标是从复杂场景中检测人体关节的位置,输出全部或局部的关节信息。检测出来的关节信息后续广泛应用于VR电影、人机交互、智能监控等。由于姿态估计任务本身易受拍摄角度、背景混淆、姿态差异等影响,致使图片中的人体常常存在不同程度的遮挡。目前,姿态估计的方法主要存在以下两个难点,一方面:模型设计本身存在固有的缺陷,无法达到较高的检测精度与效率。另一方面:算法只关
学位
目前,基于单视角图像的三维人体重建成为研究热点,人体结构的复杂性与人体姿态的多样性使这项研究面临巨大挑战。参数化人体模型通过提供丰富的先验知识,为三维人体重建提供了新的解决思路,使繁琐的三维重建问题变的简洁高效。本文结合三维人体模型,从提升姿态重建准确率和提升建模效率与体形表现力两个角度出发进行研究,主要完成工作如下:(1)为提升建模姿态精度,针对由二维图像推测三维人体模型空间结构时因深度信息缺失
学位
全固态被动调Q激光器具有结构简单、体积小等优点,广泛应用于军事、医疗、工业等领域中。Cr4+:YAG晶体具有基态吸收截面大、掺杂浓度高等优点,且该晶体在0.9-1.2μm具有宽的吸收带和可饱和吸收特性,因此常作为掺Nd3+、掺Yb3+激光器的被动Q开关材料。相比于掺Yb3+晶体,掺Nd3+晶体具有发射截面大,阈值功率低等优点。因此,掺Nd3+晶体成为1μm波段全固态激光器的首选材料之一。本文对基于
学位
为防治司法腐败,降低执行成本,克服委托司法拍卖模式的弊端,最高人民法院结合各地法院网络司法拍卖改革试点经验在2016年发布《关于人民法院网络司法拍卖若干问题的规定》正式确立网络司法拍卖制度。该制度创造性地运用“互联网+”的模式,实现人民法院自主拍卖与网络拍卖结合,促进了司法拍卖公开化,提高了司法拍卖的溢价率、成交率。但网络司法拍卖毕竟不同于传统的线下司法拍卖,具有市场交易虚拟化、受众广泛等特点。在
学位
目前,随着深度学习的不断发展,人工智能逐渐应用到日常生活中。车辆辅助驾驶和无人驾驶车辆是人工智能发展的重要方向,行人检测是辅助驾驶和无人驾驶中一个非常重要的课题。本文研究了各种场景中多尺度行人的检测问题,其中难点是小尺寸行人检测,小尺寸行人像素少,与环境相似度高,导致网络提取特征困难,漏检率较高。本文针对该问题,在双阶段检测方法和单阶段检测方法中进行改进,在保证大中尺寸行人漏检率和检测精度的同时,
学位