论文部分内容阅读
图像作为信息的重要载体之一,包含了丰富的信息。然而在图像获取、处理、传输或者保存的过程中,可能会存在着拍摄设备的抖动或者其他不可控制因素的影响,导致图像存在不同程度的退化现象,如模糊、噪声等,给后续的图像处理或应用带来麻烦。因此,如何根据模糊图像重建出清晰图像成为了图像处理领域一个热门研究方向。为此,本文利用生成对抗网络围绕图像去模糊问题展开研究,主要工作包括:(1)当前生成对抗网络大多是通过卷积神经网络来构建生成器的,但是由于卷积操作是在空间上的局部操作,无法高效地捕获长范围特征之间的相关性,从而导致在生成具有复杂几何结构物体的图像时效果不尽如人意。针对这个问题,提出一种基于注意力机制生成对抗网络的图像去模糊模型。首先,基于非局部操作引入空间注意力机制,在计算特征图每个位置的输出时,不再只和局部邻域像素做计算,而是取其所有位置的加权平均值作为输出位置的响应;其次,通过softmax操作进一步突出重要位置的权重,完成空间注意力的操作;然后,考虑特征图通道维度之间的相关性,引入通道注意力机制,通过全局池化操作学习出每个通道的权重,从而产生通道域的注意力;最后,将空间注意力和通道注意力机制进行融合以学习特征之间的关联性,从而在一定程度上解决了卷积操作受限于卷积核尺寸而无法捕获长范围特征间相关性的问题,能够有效提升图像的去模糊效果。(2)当前基于深度神经网络的图像去模糊方法在模型设计上大都使用残差学习来改善梯度传播,从而可以通过增加模型规模来提高去模糊性能。但是残差网络中存在部分冗余的层或者路径,限制了模型的表征能力。针对这个问题,提出基于通道加权融合的生成对抗网络,并将其用于解决图像去模糊问题。首先,在残差模块中跳跃连接分支和非线性映射分支中引入权重系数,使网络能够自动学习每个通道的重要程度,以充分挖掘模型的表征能力;然后,引入第三章的空间注意力机制,以解决卷积层受限于卷积核尺寸大小而无法捕捉长范围关联性问题;最后,通过1?1的卷积层对输出特征图进行降维,以减少计算量,同时起到对模块输入和输出融合的作用。GOPRO_Large数据集上的实验结果表明,所提模型能有效提升图像的去模糊性能。该论文共有图21幅,表7个,参考文献106篇。