论文部分内容阅读
超分辨率重建技术能够突破数字成像系统的限制,能以低廉的成本有效地提高图像的分辨率和视觉质量,已广泛应用于诸多领域,如安全监控、医疗影像应用、卫星遥感图像等等。近年来,深度卷积神经网络在超分辨率重建上的应用获得了令人印象深刻的性能。但目前基于深度卷积网络的超分辨率重建的方法,仍存在对图像高频细节重建不足,网络模型参数规模过大等问题。为了进一步恢复图像中的细节纹理来提高重建图像的质量,本文将注意力机制引入深度神经网络中来提取和增强与重建任务相关的特征,提出了基于注意力网络的图像超分辨率重建算法,主要研究工作如下:
(1)为了恢复出纹理、边缘等重建任务中关键的高频信息,将注意力机制与深度卷积网络结合来增强图像的局部显著特征,提出一种注意力增强的深度递归网络,并建立基于该网络的图像超分辨重建方法。该网络通过级联若干个注意力增强特征提取模块来提取不同层次的显著特征。所设计的注意力增强的特征提取模块由递归特征提取分支和注意力提取分支组成。其中,注意力提取分支利用自底而上和自顶而下的结构作为注意力的前馈过程来获取特征的显著区域。此外,针对注意力增强特征提取模块数量增加出现参数过大等问题,将递归机制作为特征提取分支,在增加网络深度时不添加新的模型参数。实验结果表明,与现有基于深度卷积神经网络的算法相比,该方法在高频细节重建质量上有明显提升,能获得更优的视觉效果,且收敛速度较快。
(2)为了从粗到细地获取图像多个尺度中的高频信息,提出一种基于自注意力网络的图像超分辨率重建方法。该网络框架包含两个重建阶段:第一个阶段将原始低分辨率图像输入到一个卷积神经网络,输出获得粗精度的高分辨率图像;第二阶段,将粗精度图像作为输入,产生更加精细的高分辨率图像。在第二阶段重建中,设计了自注意力模块,计算特征之间所有位置的关联性,通过捕捉特征的全局依赖关系来增强纹理细节的恢复。实验结果表明,与现有基于深度神经网络的超分辨率重建算法相比,所提算法重建出高质量的图像,且在数值指标上也有所提高。
(3)为了融合不同支路特征的丰富语义信息,提出基于高阶统计表示的特征融合机制,来获取自注意力模型中的自注意力支路和主干支路的融合特征。采用相加或者级联等简单的连接方式不能完全捕捉特征之间的复杂关系,因此设计了高阶统计表示的特征融合机制。该特征融合机制捕捉了自注意力特征与高层特征之间更为复杂和更高阶的关系,获取丰富的语义信息来增强特征的多样性。实验结果表明,与现有基于神经网络的重建算法相比,所提算法重建出的图像精确度更高,说明该方法所提取到的融合特征具有更强的表达能力。
(1)为了恢复出纹理、边缘等重建任务中关键的高频信息,将注意力机制与深度卷积网络结合来增强图像的局部显著特征,提出一种注意力增强的深度递归网络,并建立基于该网络的图像超分辨重建方法。该网络通过级联若干个注意力增强特征提取模块来提取不同层次的显著特征。所设计的注意力增强的特征提取模块由递归特征提取分支和注意力提取分支组成。其中,注意力提取分支利用自底而上和自顶而下的结构作为注意力的前馈过程来获取特征的显著区域。此外,针对注意力增强特征提取模块数量增加出现参数过大等问题,将递归机制作为特征提取分支,在增加网络深度时不添加新的模型参数。实验结果表明,与现有基于深度卷积神经网络的算法相比,该方法在高频细节重建质量上有明显提升,能获得更优的视觉效果,且收敛速度较快。
(2)为了从粗到细地获取图像多个尺度中的高频信息,提出一种基于自注意力网络的图像超分辨率重建方法。该网络框架包含两个重建阶段:第一个阶段将原始低分辨率图像输入到一个卷积神经网络,输出获得粗精度的高分辨率图像;第二阶段,将粗精度图像作为输入,产生更加精细的高分辨率图像。在第二阶段重建中,设计了自注意力模块,计算特征之间所有位置的关联性,通过捕捉特征的全局依赖关系来增强纹理细节的恢复。实验结果表明,与现有基于深度神经网络的超分辨率重建算法相比,所提算法重建出高质量的图像,且在数值指标上也有所提高。
(3)为了融合不同支路特征的丰富语义信息,提出基于高阶统计表示的特征融合机制,来获取自注意力模型中的自注意力支路和主干支路的融合特征。采用相加或者级联等简单的连接方式不能完全捕捉特征之间的复杂关系,因此设计了高阶统计表示的特征融合机制。该特征融合机制捕捉了自注意力特征与高层特征之间更为复杂和更高阶的关系,获取丰富的语义信息来增强特征的多样性。实验结果表明,与现有基于神经网络的重建算法相比,所提算法重建出的图像精确度更高,说明该方法所提取到的融合特征具有更强的表达能力。