论文部分内容阅读
近年来,随着信息技术的发展和大数据时代的到来,图像的数量呈现出爆发式地增长趋势。如何从浩如烟海的图像数据中快速有效地寻找有用信息,以提高信息处理效率,已经成为了一个重要的研究课题。在面对复杂的现实场景时,人类的视觉系统可以快速搜索和定位感兴趣目标,这种视觉注意机制使得人类能够快速有效地处理庞杂的外部信息。在计算机视觉任务中,研究人员将该视觉注意机制引入,并将其进一步发展为视觉显著性检测。显著性检测算法致力于实现这种人类视觉选择特性,以快速筛选重要内容,排除无关内容的干扰,从而大大提高图像内容处理效率。这个可以对图像内容“划重点”的技术,已经成为一项热门的计算机视觉研究任务,而且作为一种重要的预处理手段,显著性检测已经被广泛运用在多个计算机视觉任务中,如目标跟踪、目标分割、图像编辑等。视觉显著性检测方式可分为两种:任务驱动的自上向下的方式、数据驱动的自下而上的方式。现今大多数视觉检测任务都集中在数据驱动的自下而上的领域。根据任务目标的不同,又可将其分为凝视点检测和显著性物体检测。本文主要研究自下而上的显著性物体检测,分别从显著性物体检测中的三种内在特征关系出发,构建了相应的显著性物体检测算法。本文主要的创新性研究工作及成果总结如下:1).研究了手工设计特征的空间相邻关系,并设计了基于非局部连接图传播模型的显著性检测算法。现今大部分基于图的传播模型仅仅考虑了节点的局部相邻关系,然而当显著性物体内部区域特征变化较大时,仅仅基于局部关系构建图模型往往不够准确,容易导致显著性区域的不一致,甚至错误地抑制了显著性区域。为克服这些问题,本文将非局部关系引入到图模型中,并构建了具有非局部连接关系的图传播模型。具体地,模型首先基于优化的紧密度和对比度特征计算方式,计算了更为准确的初始显著图,并采用具有显著性偏置的高斯模型对其进一步细化。在细化的显著图上,构建了具有非局部连接关系的两层稀疏图模型,根据随机游走的规则,将显著性结果进行传播。最后将传播后的显著图进行线性融合,并设计了自更新算法将其进一步优化,得到最终的显著性图。非局部连接关系的引入,克服了仅仅利用局部关系构建的图模型的缺点,因此算法获得了一致性较好的显著性结果。一系列定量和定性的评价结果,证明了所提出算法的有效性。2).探索了显著性检测任务中的特征优先关系,并将这种优先关系的产生根源归纳为特征产生关系,根据这种特征产生关系,设计了基于级联漏斗形神经网络的显著性检测算法。现今大多数基于深度学习的显著性检测算法,认为不同层级特征发挥着同等重要的作用。但是在显著性检测任务中,高级的语义信息更贴近显著性定义,对应着显著性物体大部分内部区域,发挥着主要作用,因此处于一个天然的优势主导地位。本文探索了神经网络中这种优先级产生的根源,并将其归纳为特征产生关系。借鉴于池化操作的特征转换能力,本文提出了一个级联漏斗形特征融合神经网络。该网络具有三个子模块,以逐步地融合多尺度特征。具体地,算法首先设计了一个级联的多尺度上下文特征提取模块,来提取有益的上下文信息。然后,算法使用了一系列级联的池化操作组成漏斗形特征融合模块,并将这些模块有层次地级联起来,实现不同尺度特征的筛选与融合。最后,算法设计了级联的解码器来获取最终的显著性结果。全面且充分的定性和定量评价对比结果,证明了算法的先进性与有效性。同时所设计算法相对轻量化,在前向推理时能够以实时的速度高效地运行。3).进一步研究了不同尺度特征的优先级,在特征产生关系的基础上,将这种优先级进一步发展为特征从属关系,并据此设计了一个基于“领导者-跟随者”神经网络的显著性检测算法。特征从属关系将神经网络中的高低层特征集合视为具有上下级关系的决策变量:高级特征作为优势的领导者;低级特征作为从属的跟随者。本文进一步将这种内在关系具象为斯坦克尔伯格博弈模型,并依据该模型设计了一个基于“领导者-跟随者”特征融合网络的显著性检测算法。该算法包含基于“领导者-跟随者”的多尺度上下文信息注意选择模块和特征融合两个子模块。大量的定性和定量的评价对比结果,证明了所提出模块及算法的有效性。算法在取得先进的性能表现和运行效率的同时,还能够较好应对视频显著性检测任务,表现出了优越的可迁移性。最后本文将算法在移动端进行了部署,在现实场景中的测试结果证明了算法的实用性。