论文部分内容阅读
近年来,卷积神经网络在超分辨率重建领域的应用取得了一定突破,但依旧不能有效的恢复图像的边缘和纹理等几何结构。本文围绕如何有效恢复图像边缘和纹理等几何结构展开研究,其主要工作具体如下:
(1)提出了一种结合感知边缘约束与多尺度融合的图像超分辨率重建方法。该方法的模型包含两个阶段:第一阶段提取低分辨率图像特征并对特征进行上采样,获得粗糙的高分辨率图像特征;第二阶段将粗精度图像特征作为输入,通过特征金字塔模块以逐步编解码的方式精细粗糙特征,从而完成图像边缘和纹理的精确重建。第二阶段中,考虑到不同尺度特征的重要性差异,使用通道注意力机制捕捉不同尺度特征的通道权重,并以该权重指导特征融合。此外,为了增强网络对图像边缘结构的恢复能力,提出了一种基于图像边缘几何结构特征的感知边缘约束。实验结果表明,相对于目前主流的超分辨率重建方法,该方法不但在评标指标上取得了一定的提升,而且可以重建更为清晰的图像边缘。
(2)为了更准确的刻画图像的边缘结构,提出了一种基于上下文增强网络的感知边缘检测方法。该方法为了增强多尺度上下文信息之间的内在联系,将多尺度上下文从时间维度进行分析建模,利用递归神经网络的思想,通过由上至下和由下至上的递归神经网络支路分别从两个方向捕捉多尺度上下文联系,从而完成多尺度上下文特征的增强。将该方法与目前主流的边缘检测方法进行比较,实验结果表明,该方法在ODS以及OIS评价指标上都取得了一定的提高,能够更准确的刻画图像边缘结构。
(3)为了更好的恢复重建图像的边缘纹理几何结构,提出了结合感知边缘约束与生成对抗网络的图像超分辨率重建方法。该方法利用基于上下文增强网络的感知边缘检测方法中的特征提取网络提取图像边缘结构特征,并以此为监督,鼓励生成网络更有效的重建图像边缘结构,同时,鉴别网络能够提取一些难以学习的高分辨率图像潜在图案,促使生成网络更好的拟合真实样本分布。实验结果表明,相较于目前主流的超分辨率重建方法,该方法能够更有效的恢复图像边缘纹理,重建视觉感知上更为逼真的图像。
(1)提出了一种结合感知边缘约束与多尺度融合的图像超分辨率重建方法。该方法的模型包含两个阶段:第一阶段提取低分辨率图像特征并对特征进行上采样,获得粗糙的高分辨率图像特征;第二阶段将粗精度图像特征作为输入,通过特征金字塔模块以逐步编解码的方式精细粗糙特征,从而完成图像边缘和纹理的精确重建。第二阶段中,考虑到不同尺度特征的重要性差异,使用通道注意力机制捕捉不同尺度特征的通道权重,并以该权重指导特征融合。此外,为了增强网络对图像边缘结构的恢复能力,提出了一种基于图像边缘几何结构特征的感知边缘约束。实验结果表明,相对于目前主流的超分辨率重建方法,该方法不但在评标指标上取得了一定的提升,而且可以重建更为清晰的图像边缘。
(2)为了更准确的刻画图像的边缘结构,提出了一种基于上下文增强网络的感知边缘检测方法。该方法为了增强多尺度上下文信息之间的内在联系,将多尺度上下文从时间维度进行分析建模,利用递归神经网络的思想,通过由上至下和由下至上的递归神经网络支路分别从两个方向捕捉多尺度上下文联系,从而完成多尺度上下文特征的增强。将该方法与目前主流的边缘检测方法进行比较,实验结果表明,该方法在ODS以及OIS评价指标上都取得了一定的提高,能够更准确的刻画图像边缘结构。
(3)为了更好的恢复重建图像的边缘纹理几何结构,提出了结合感知边缘约束与生成对抗网络的图像超分辨率重建方法。该方法利用基于上下文增强网络的感知边缘检测方法中的特征提取网络提取图像边缘结构特征,并以此为监督,鼓励生成网络更有效的重建图像边缘结构,同时,鉴别网络能够提取一些难以学习的高分辨率图像潜在图案,促使生成网络更好的拟合真实样本分布。实验结果表明,相较于目前主流的超分辨率重建方法,该方法能够更有效的恢复图像边缘纹理,重建视觉感知上更为逼真的图像。