论文部分内容阅读
在飞速发展的大数据时代下,图像资源所包含的信息量保持迅猛增长,因此提炼图像有效信息的技术具有重要的实用价值。视觉显著性检测算法旨在检测图像中最具有区分度的显著目标,筛选出完整的目标内容,有助于缓解复杂视觉任务的难度,成为图像基本预处理步骤之一。深度卷积神经网络的发展给视觉显著性检测任务带来了质的飞跃,如何搭建高效的网络模型、融合卷积特征信息、充分挖掘显著性线索逐渐成为视觉显著性检测研究的主导方向之一。本文主要基于卷积特征融合实现图像的视觉显著性检测,具体的研究内容如下:(1)针对目前基于深度学习的视觉显著性检测算法存在的目标完整性和区域平滑度的不足,基于非局部深度特征提出一种多尺度上下文信息增强的全卷积网络,其包含多级别特征提取、多尺度上下文特征增强、对比度特征提取和局部-全局信息融合预测4个模块。首先从VGG16模型提取多级别的局部特征,然后利用不同扩张率的空洞卷积增强多尺度的上下文信息,学习对比度特征,最后在边界损失、类平衡损失和难分类损失组合约束下,以局部-全局融合的方式实现显著图的预测。在不同数据集上的实验结果表明,多尺度的上下文信息有助于区分复杂自然图像中的目标和背景、抑制背景噪声,得到的显著目标区域更加连续和完整。(2)针对目前深度视觉显著性检测算法中存在的复杂场景下检测效果下降问题,增强特征表达和泛化能力,提出一种基于紧密聚合特征的循环残差网络,其包括紧密特征提取、所有特征聚合和循环残差优化3个模块。首先从ResNeXt101网络中分别提取不同级别的紧密卷积特征,然后在空洞空间金字塔池化运算下聚合所有层的特征,综合利用所有可能的显著性线索,最后在深度监督机制下以循环学习残差的方式实现显著图的不断优化。在公开数据集上的实验数据表明,紧密聚合特征既加强了单层内部有效信息的聚合,又有助于增强不同级别特征的信息外部交互,该算法的检测能力较优于目前的主流算法,能够均匀完整地检测显著目标。(3)为了加深阶段性特征和多分辨率特征信息互补和融合、提升视觉显著性检测的准确性,提出一种基于三重残差学习网络,它包括融合交互残差学习的紧密空洞空间金字塔池化、自上而下残差学习和从低到高残差学习3个模块。首先将DenseNet161作为特征提取基础框架,从不同稠密块利用紧密连接和空洞卷积获得阶段性、大感受野的特征,在阶段紧密特征间构建交互残差学习实现优化,然后以级联的形式分别从上而下和从低到高逐步地进行相邻特征信息和显著预测的残差学习,充分结合不同分辨率特征信息,优化显著预测结果,将最后一个阶段的输出作为显著图。实验结果表明,残差学习加强了特征间信息的交流,双向级联的结构增强特征的连续性,并且所提算法的视觉显著性检测能力具有一定的可靠性。