论文部分内容阅读
显著性检测是通过模拟人的视觉注意机制，在图像中提取具有显著性的目标区域的过程。作为诸多计算机视觉应用的预处理步骤，显著性检测已广泛应用于多种任务中。
本文总结和分析彩色图像显著性检测和高光谱图像显著性检测技术的研究现状，并基于深度学习研究实现了结合对抗学习的彩色图像显著性检测算法和结合自监督学习的高光谱图像显著性检测算法。
1. 结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)
在 CGAN 主体学习框架下，提出了一种结合双流特征融合和对抗学习的显著性检测算法。该算法以VGG-16和Res2Net-50双流异构网络为显著性检测的主干网络，实现由低级到高级的多级别、细粒度、富尺度的图像特征提取；针对每个单流结构，引入了基于卷积塔模块的多通道特征图的处理环节，进一步丰富了每个特征提取路径内同级特征图的多尺度信息；采用自顶向下、跨流特征图的逐级交叉侧向融合方式生成显著图，有效结合了目标显著性的大尺度上下文信息与显著性目标边界的小尺度特征。
基于ECSSD，PASCAL-S，DUT-OMRON以及DUTS-test这4个公开数据集与其他10种优良显著性检测算法的比较实验，验证了该算法的有效性。
2. 结合双池化、增强模块及对抗学习的彩色图像显著性检测(SaTPEAL)
以 CGAN 为主体学习框架，提出一种结合双池化、增强模块和对抗学习的显著性检测算法(SaTPEAL)。将基于Res2Net-50的主干网络分别与全局二阶池化模块和带状池化模块结合，构建基于双池化策略的双路径特征提取模式，以实现彩色输入图像不同级别的高阶统计特性在各级特征图的逐级嵌入以及显著性目标区域不同部件之间远程空间依赖关系的捕获。采用自顶向下、逐级侧向融合多级特征图的方式生成粗糙显著图，有效利用了显著目标的高级语义特征与低级特征；进一步，构建基于迭代残差反卷积的后处理模块，进行粗糙显著图的细化增强，最终生成了边界更清晰、结构更完整的显著图。端到端的检测机制，使SaTPEAL算法更为鲁棒。
在ECSSD，PASCAL-S，DUT-OMRON以及DUTS-test等4个公开数据集上与其他10种优良的显著性检测算法的比较实验，验证了该算法的有效性。
3. 结合通道-空间联合注意力机制及无监督分割任务的高光谱图像显著性检测(HSaJAMUS)
该算法将通道-空间联合注意力模块引入Res2Net-50主干网络，构建深度特征提取网络，以实现关于高光谱输入图像的空间信息和光谱信息有效结合的多通道特征图的提取。在模型学习阶段，首先利用通道域特征最大值原则，对多通道特征图进行像素级分类，实现通道标签预测；然后对高光谱输入图像进行基于SLIC的超像素分割，借助聚类校正，生成引导标签；最后基于引导标签和预测标签之间交叉熵损失的最小化原则，实现深度特征提取网络的自监督学习。与此同时，对多通道特征图进行超像素分割，实现基于流形排序的两阶段显著图预测。
深度特征提取网络的自监督学习与显著图生成过程交替进行，不断优化。最终，由该网络得到的多通道特征图更能有效结合高光谱图像光谱域-空间域联合显著特性，其显著性检测结果也不断趋于稳定。
在 HS_SOD 数据集上与 7 种高光谱图像显著性检测算法的对比实验，验证了HSaJAMUS算法的有效性。
本文总结和分析彩色图像显著性检测和高光谱图像显著性检测技术的研究现状，并基于深度学习研究实现了结合对抗学习的彩色图像显著性检测算法和结合自监督学习的高光谱图像显著性检测算法。
1. 结合双流特征融合及对抗学习的彩色图像显著性检测(SaTSAL)
在 CGAN 主体学习框架下，提出了一种结合双流特征融合和对抗学习的显著性检测算法。该算法以VGG-16和Res2Net-50双流异构网络为显著性检测的主干网络，实现由低级到高级的多级别、细粒度、富尺度的图像特征提取；针对每个单流结构，引入了基于卷积塔模块的多通道特征图的处理环节，进一步丰富了每个特征提取路径内同级特征图的多尺度信息；采用自顶向下、跨流特征图的逐级交叉侧向融合方式生成显著图，有效结合了目标显著性的大尺度上下文信息与显著性目标边界的小尺度特征。
基于ECSSD，PASCAL-S，DUT-OMRON以及DUTS-test这4个公开数据集与其他10种优良显著性检测算法的比较实验，验证了该算法的有效性。
2. 结合双池化、增强模块及对抗学习的彩色图像显著性检测(SaTPEAL)
以 CGAN 为主体学习框架，提出一种结合双池化、增强模块和对抗学习的显著性检测算法(SaTPEAL)。将基于Res2Net-50的主干网络分别与全局二阶池化模块和带状池化模块结合，构建基于双池化策略的双路径特征提取模式，以实现彩色输入图像不同级别的高阶统计特性在各级特征图的逐级嵌入以及显著性目标区域不同部件之间远程空间依赖关系的捕获。采用自顶向下、逐级侧向融合多级特征图的方式生成粗糙显著图，有效利用了显著目标的高级语义特征与低级特征；进一步，构建基于迭代残差反卷积的后处理模块，进行粗糙显著图的细化增强，最终生成了边界更清晰、结构更完整的显著图。端到端的检测机制，使SaTPEAL算法更为鲁棒。
在ECSSD，PASCAL-S，DUT-OMRON以及DUTS-test等4个公开数据集上与其他10种优良的显著性检测算法的比较实验，验证了该算法的有效性。
3. 结合通道-空间联合注意力机制及无监督分割任务的高光谱图像显著性检测(HSaJAMUS)
该算法将通道-空间联合注意力模块引入Res2Net-50主干网络，构建深度特征提取网络，以实现关于高光谱输入图像的空间信息和光谱信息有效结合的多通道特征图的提取。在模型学习阶段，首先利用通道域特征最大值原则，对多通道特征图进行像素级分类，实现通道标签预测；然后对高光谱输入图像进行基于SLIC的超像素分割，借助聚类校正，生成引导标签；最后基于引导标签和预测标签之间交叉熵损失的最小化原则，实现深度特征提取网络的自监督学习。与此同时，对多通道特征图进行超像素分割，实现基于流形排序的两阶段显著图预测。
深度特征提取网络的自监督学习与显著图生成过程交替进行，不断优化。最终，由该网络得到的多通道特征图更能有效结合高光谱图像光谱域-空间域联合显著特性，其显著性检测结果也不断趋于稳定。
在 HS_SOD 数据集上与 7 种高光谱图像显著性检测算法的对比实验，验证了HSaJAMUS算法的有效性。