论文部分内容阅读
摘 要：图像的分辨率在图像中是一项及其重要的参数，用于蕴含图像的重要信息。而实际上，可能受多方面环境因素的影响，高分辨率的图像往往不容易采集到。为解决低分辨率图像给采集数据带来的种种问题与影响，人们开始研究超分辨率技术。超分辨率技术是指将拍摄到的低清分辨率的图像使用重建的技术来得到更高清分辨率的图像，从而达到获取图像上更多信息的效果，主要的应用场景有医学影像仪器、监控设备以及卫星图像等。普通意义上的图像超分辨率重建一般是将图像直接放大或者进行缩小，对图像的实际超分辨率重建效果不是很明显。为解决传统超分辨率重建对图像质量改善不大的情况，引入基于神经网络的SRGAN。SRGAN使用生成式对抗网络架构（GAN），[1]以优化损失函数为目标，生成图像中的某些细节。本文将描述SRGAN在应用中的具体实现过程，通过分析模型中的损失函数以及模型的训练过程，对其重建效果以及产生的问题进行深入探讨。
关键词：超分辨率图像重建;深度学习;神经网络
1 绪论
基于SRGAN的超分辨率重建的损失函数有两个方面构成，分别是对抗损失以及内容损失。所谓对抗损失，是将需要超分辨率重建的图像映射至高维空间，再借用判别网络去判别超分辨率重建前以及重建后的图像。所谓内容损失，则是有关图像内容的相似性，将卷积神经网络（CNN）提取出来的图像特征，通过对比生成图片经过卷积神经网络的图像特征和目标图片经过卷积神经网络的图像特征的差别，以及优化两者之间的差别，使得生成图像与目标图像更为接近与相似。其中，生成式对抗网络的主要作用是添加一个判别器以及两个损失（对抗损失和内容损失），用一种交替训练的方法来训练两个网络。SRGAN利用生成式对抗网络中的生成网络通过低分辨率图像生成高分辨率图像，而生成式对抗网络中的判别网络则用于判断获取的图像是由生成式对抗网络中的生成网络伪造的还是为原图像。如果生成式对抗网络中的生成网络所生成的图像，判别网络无法检测出，则能得到超分辨率图像。借用对抗损失以及内容损失来提升以及恢复图像的分辨率。
2 方法
2.1 分析
训练SRGAN的生成网络的主要步骤如下，先输入一张低分辨率的照片，经过卷积得到其主要特征，再使用激活函数（ReLU），进而再次卷积提取其主要特质，再进入残差网络模型，多个残差模块中每个残差模块都包括了两个卷积层（conv），之后又接入批量归一化层，残差模块中再接入ReLU作为激活函数，通过残差模块之后再进行两次池化，通过亚像素卷积层来增加尺寸。
而对SRGAN的判别网络模型而言，它的主要步骤有如下，先输入一张待检测的图片，而后通过卷积层以及特殊的激活函数，最后经过Sigmoid函数来判断输入图像为原图像还是生成图像。
2.2 损失函数
前面提到，模型的损失函数主要有对抗损失以及内容损失。下面将详细介绍对抗损失以及内容损失的具体内容。
对抗损失，对抗损失的计算公式如下：
公式中DθD代表的是生成图像属于真正的高分辨率图像的概率，而 代表的是重建生成的高清分辨率图像。最后计算得出对抗损失。
内容损失，在试验中我们使用的内容损失函数包括两个方面，一个是MSEloss，另一个则是VGGloss。前者表示的是像素空间的均方误差，后者则是以ReLU激活函数为基础的VGG loss，MSEloss的计算公式如下：
VGGloss的计算公式如下：
3 结论
在SRGAN技术的模型中，由于生成式对抗网络在实际应用中仍然存在一定的问题，在训练过程中收敛性不是非常好，并且还可能伴随着模式坍塌的问题存在，导致训练结果不是很好，进而影响SRGAN。我们在研究中对SRGAN进行了一定的改良，除去批量归一化层，其主要目的是減少计算的复杂度从而增加计算机CPU及GPU的运算性能。在我们进行的研究性实验中，按照上述的模型（SRGAN 生成网络模型，SRGAN 判别网络模型）的步骤进行相关的处理。先准备好大量的未处理的图像集，大概会在一百张左右，将一百张图片一次输入至生成器，经过一系列的卷积、池化等处理之后，再投入到判别器中进行判别，在一系列操作之后，得到了生成的高分辨率的图像。将进行比照原图像与生成的高分辨率的图像，发现生成的高分辨率图像在提高分辨率的基础上还保持了原图像的真实性。
参考文献：
[1]Goodfellow I J，Pouget-Abadie J，Mirza M，et al.Generative Adversarial Networks[J].Advances in Neural Information Processing Systems，2014，3：2672-2680.
关键词：超分辨率图像重建;深度学习;神经网络
1 绪论
基于SRGAN的超分辨率重建的损失函数有两个方面构成，分别是对抗损失以及内容损失。所谓对抗损失，是将需要超分辨率重建的图像映射至高维空间，再借用判别网络去判别超分辨率重建前以及重建后的图像。所谓内容损失，则是有关图像内容的相似性，将卷积神经网络（CNN）提取出来的图像特征，通过对比生成图片经过卷积神经网络的图像特征和目标图片经过卷积神经网络的图像特征的差别，以及优化两者之间的差别，使得生成图像与目标图像更为接近与相似。其中，生成式对抗网络的主要作用是添加一个判别器以及两个损失（对抗损失和内容损失），用一种交替训练的方法来训练两个网络。SRGAN利用生成式对抗网络中的生成网络通过低分辨率图像生成高分辨率图像，而生成式对抗网络中的判别网络则用于判断获取的图像是由生成式对抗网络中的生成网络伪造的还是为原图像。如果生成式对抗网络中的生成网络所生成的图像，判别网络无法检测出，则能得到超分辨率图像。借用对抗损失以及内容损失来提升以及恢复图像的分辨率。
2 方法
2.1 分析
训练SRGAN的生成网络的主要步骤如下，先输入一张低分辨率的照片，经过卷积得到其主要特征，再使用激活函数（ReLU），进而再次卷积提取其主要特质，再进入残差网络模型，多个残差模块中每个残差模块都包括了两个卷积层（conv），之后又接入批量归一化层，残差模块中再接入ReLU作为激活函数，通过残差模块之后再进行两次池化，通过亚像素卷积层来增加尺寸。
而对SRGAN的判别网络模型而言，它的主要步骤有如下，先输入一张待检测的图片，而后通过卷积层以及特殊的激活函数，最后经过Sigmoid函数来判断输入图像为原图像还是生成图像。
2.2 损失函数
前面提到，模型的损失函数主要有对抗损失以及内容损失。下面将详细介绍对抗损失以及内容损失的具体内容。
对抗损失，对抗损失的计算公式如下：
公式中DθD代表的是生成图像属于真正的高分辨率图像的概率，而 代表的是重建生成的高清分辨率图像。最后计算得出对抗损失。
内容损失，在试验中我们使用的内容损失函数包括两个方面，一个是MSEloss，另一个则是VGGloss。前者表示的是像素空间的均方误差，后者则是以ReLU激活函数为基础的VGG loss，MSEloss的计算公式如下：
VGGloss的计算公式如下：
3 结论
在SRGAN技术的模型中，由于生成式对抗网络在实际应用中仍然存在一定的问题，在训练过程中收敛性不是非常好，并且还可能伴随着模式坍塌的问题存在，导致训练结果不是很好，进而影响SRGAN。我们在研究中对SRGAN进行了一定的改良，除去批量归一化层，其主要目的是減少计算的复杂度从而增加计算机CPU及GPU的运算性能。在我们进行的研究性实验中，按照上述的模型（SRGAN 生成网络模型，SRGAN 判别网络模型）的步骤进行相关的处理。先准备好大量的未处理的图像集，大概会在一百张左右，将一百张图片一次输入至生成器，经过一系列的卷积、池化等处理之后，再投入到判别器中进行判别，在一系列操作之后，得到了生成的高分辨率的图像。将进行比照原图像与生成的高分辨率的图像，发现生成的高分辨率图像在提高分辨率的基础上还保持了原图像的真实性。
参考文献：
[1]Goodfellow I J，Pouget-Abadie J，Mirza M，et al.Generative Adversarial Networks[J].Advances in Neural Information Processing Systems，2014，3：2672-2680.