基于规模自适应和结构自适应感受野的显著物体检测

来源 :天津大学 | 被引量 : 0次 | 上传用户:yexianyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
显著性对象检测旨在着重标示图像或视频场景中在语义层面上引人注意或感兴趣的区域或对象。显著性对象检测可以作为预处理步骤,为其他复杂的计算机视觉应用任务提供帮助。当前,它已经被广泛应用于目标跟踪、图像分割、目标检测等任务中。显著性检测目前依旧是具有挑战的计算机视觉任务,因为具有复杂形状和任意大小的显著物体通常难以精确地检测,尤其是在杂乱的背景和复杂的场景中。由于考虑到基于单一层次特征预测显著物体的缺陷,最近的许多方法采用融合了深度神经网络(Deep Neural Network,DNN)的多个层次特征进行物体预测并获得了性能的提升。但是,现有工作通过固定比例和采样位置规则的卷积处理每个语义级别的特征,从而劣化了对具有复杂形状和任意大小的显著对象的预测表现。为了解决这些问题,本文提出了一种新的具有结构自适应和规模自适应感受野的显著物体检测算法。1.对于静态图像的显著物体检测。本文首先引入可变形卷积,通过引入额外的偏移量来变换卷积核的采样位置,从而获得基于物体结构的自适应特征。同时,针对不同语义级别的结构自适应特征,本文设计了新颖的空间上下文感知模块SCAMs(Spatial Context-aware Module),通过设计不同扩张比率和卷积核尺寸的卷积组合捕获多尺度上下文信息,获得规模自适应的特征。为了进一步强调与显著性相关的语义信息,本文还提出了一个关注区域的通道注意模块ROI-CAM(Region Of Interest-Channel Attention Module),该模块将重新给予特征图新的权重。实验结果表明,基于规模和结构自适应感受野能够生成准确的显著图,并且表现优于现有的大量显著性预测模型。2.对于视频显著物体检测算法。本文以上述图像显著物体检测模型为基础,提取单帧图像基于自适应感受野的静态空间特征,通过设计的时序对齐模块TAM(Timing Alignment Module)提炼视频相邻帧之间的时序信息。TAM将相邻帧的特征分布转移至当前帧的特征分布并将两帧特征聚合获得时序融合信息。本文在两个广泛使用的视频显著性数据集上实验,实验结果证了TAM机制的有效性。
其他文献
报纸
报纸
近年来,三维模型分类和检索任务已成为多媒体领域和计算机视觉领域中的一项研究热点。随着深度学习技术的蓬勃发展,各种高性能的深度学习模型被提出并广泛使用。这些深度学习模型关注于不同的三维模型表示形式,例如点云、多视图、全景视图等等,均表现出了卓越的性能。但是,这些方法都忽略了一个重要的信息,即相同的三维模型在不同的模态表示场景下的多模态信息。本文提出了一种创新性的多模态融合网络来解决三维模型数据的分类
学位
报纸
报纸
三维目标检测是场景理解任务中的基础问题之一,在智能驾驶和机器人感知等领域有着广泛的应用前景。基于不同传感器数据的三维目标检测算法在性能、效率以及应用场景等多个方面均存在差异。能获取精确距离的激光雷达和具有较高分辨率的双目相机常作为主要的感知设备应用于智能驾驶系统。激光雷达通过发射特定波长的激光束并接收目标回波以获取场景的三维点云。当前基于点云的三维目标检测算法存在两个问题。一是在点云的特征提取网络
学位
视频片段检索旨在依据给出的查询信息,在未经剪辑的长视频中检索出与查询内容相关的视频片段。本文的工作使用一段视频作为查询信息,给定查询视频,可以从参考视频中提取出与查询视频具有语义相关性的内容片段,并确定其起止时间。这项技术被称为基于视频查询的视频片段检索。在实际应用中,这项技术可以更智能的为人类提供视频选择,有效地减少用户浏览相关感兴趣视频的时间,还可以应用于视频监控和基于视频的人员重识别任务等其
学位
水下图像存在颜色失真、细节模糊、对比度低等问题,直接影响水下目标识别与跟踪等工作,严重影响了计算机视觉系统在海洋研究中发挥效用,水下图像清晰化研究具有重要的理论意义和应用价值。目前基于有监督学习的水下图像复原方法通常需要高质量的清晰图像作为参考,而其在现实的场景中难以获取;使用合成数据作为训练数据集的复原方法则难以适用于真实场景。基于此,论文提出两种基于无监督学习的水下图像复原方法,具体工作如下:
学位
水下图像承载着水下环境的重要信息。由于受到光吸收和散射的影响,水下图像存在颜色失真、对比度低、模糊、光照不均匀等明显的质量退化问题。退化的水下图像直接影响其在水下目标检测、水下场景理解、水下三维重建等方面的进一步应用。因此,关于提高水下图像质量的研究具有重要意义。随着深度学习技术的快速发展,基于弱监督学习的水下图像增强方法受到广泛的关注,但现有的增强方法处理后的水下图像仍存在色偏、细节模糊等问题。
学位
从天气预报到股指预测,时间序列预测在方方面面都起着至关重要的作用。然而,实际场景下的时间序列往往具有极强的非线性和较低的可预测性,传统方法往往差强人意。同时,随着社交网络的发展,越来越多的用户在网络上表达自己的观点,这些观点中的情感信息可以辅助解决相关的预测问题。在目前的研究中,用户的情感信息尚未得到充分利用。为了实现及时准确的预测,本文出了情感分析和深度学习相结合的方法——融合情感分析的时间序列
学位