论文部分内容阅读
摘 要：针对Yang等人提出的基于稀疏表示的图像超分辨率的重建效果不够理想问题，提出了一种将图像卡通纹理分解和稀疏表示相结合的方法用以实现单幅低分辨率图像的超分辨率重建。本文提出的算法涉及到卡通字典和纹理字典的学习，图像重建过程分为两步。首先重建观测低分辨率图像的卡通高分辨率图像和纹理高分辨率图像，最后将重建的卡通和纹理高分辨率图像线性加权叠加，实现低分辨率观测图像的超分辨率重建。实验结果表明，本文提出的方法在主观视觉和客观指标峰值信噪比（PSNR）上都有明显的提升。
关键词：超分辨率；稀疏表示；字典学习；卡通纹理
中图分类号：TP391 文献标识码：A
Abstract：Due to the unsatisfactory result of image super-resolution reconstruction based on sparse representation method proposed by Yang et al，this paper proposes a new method，which combines image cartoon-texture decomposition and sparse representation，to achieve super-resolution reconstruction of low-resolution single images.The algorithm proposed in this paper involves two types of dictionaries：the cartoon dictionary and the texture dictionary.The image reconstruction process is divided into 2 steps：firstly，it reconstructs a high-resolution cartoon image and a high-resolution texture image from a low-resolution image，then，it overlays the newly reconstructed high-resolution cartoon image and the high-resolution texture image through linear weighting.As the experiment result shows，the method proposed in this paper brings significant improvement in both subjective visual quality and objective PSNR （Peak Signal to Noise Ratio）.
Keywords：super resolution；sparse representation；dictionary learning；cartoon-texture
1 引言（Introduction）
提高图像的分辨率一直都是图像处理领域一个重要的课题，由于成像系统及工艺的限制，从硬件方面提高图像分辨率难度大且成本高，所以通过软件算法的方法能够实现图像的超分辨率重建具有重要意义[1]。此外，这种利用算法来实现图像增强的方法广泛应用于军事遥感、卫星成像、视频监控和医学图像等领域，可见它的理论研究极具价值。超分辨率重建，直白地讲，就是通过同一场景下一幅或者多幅低分辨率图像重建一幅清晰的高分辨率图像。目前，图像的超分辨率重建算法主要有三种。第一种是基于插值的超分辨率重建算法，即利用周围像素或者邻近像素点间的关系对高分辨率图像中未知像素进行估计，这类方法简单、运算速度快，缺点是重建的高分辨率图像会存在块效应且图像边缘伴随锯齿效应；第二种是基于重建约束的超分辨率重建算法，假设合理的图像退化模型，根据图像退化模型来重建高分辨率图像；第三种是基于学习的超分辨率重建算法，通过对训练图像特征块的学习，建立两种之间的关系，根据它们之间的这种关系重建出高分辨率图像，这类方法是近来研究的热点方向[2]。
2 基于稀疏表示的超分辨率图像重建（Super- resolution image reconstruct-ion based on sparse representation）
2.1 信号的稀疏表示
任何维空间域的一个维信号都可以由N个维度的基向量的线性组合来表示，即，其中表示对应的系数。写成矩阵的形式，即为。可以将看成的基矩阵；是由构成的维的列向量组成的系数向量，对于这个系数向量可看成是信号的等价表示，或者是信号在线性组合下的表征。若系数向量中元素不为零的数目远远小于，就称该信号具有稀疏性。
2.2 稀疏编码实现图像超分辨率重建
压缩感知的理论研究表明自然图像具有稀疏性，这使得利用稀疏理论来研究图像处理成为可能[3]。设图像信号为，对于具有稀疏性的图像信号，寻求一个类似于一维信号稀疏分解中的基矩阵，使得图像信号在上得到最稀疏化的表示。图像稀疏表示的问题，即图像信号
将称作字典，为原子，叫做系數矩阵，表示精度允许的误差。在经典的稀疏表示的图像超分辨率重建模型中，涉及到两个字典高分辨率字典和低分辨率字典。本文采用文献[4]中联合字典训练的方式，将高、低分辨率训练样本统一进行稀疏关联学习，为了保证高、低分辨率图像能有相同的稀疏表示系数。对于输入的待重建的低分辨率图像块，求解在下的稀疏表示。此时，则高分辨率图像块，最后将得到高分辨率图像块和低分辨率图像块双三次插值得到的图像合成求得重建的高分辨率图像块。
3 快速卡通纹理分解模型（Fast cartoon texture decomposition model） 图像卡通-纹理分解，又可以称为结构-纹理分解，一个灰度级图像可以表示为分解成；其中表示图像的结构分量，包含图像的大部分低频和部分中高频，是图像的主要特征结构部分，是图像的简化逼近，也称为卡通（cartoon）；表示图像的纹理部分（texture），包含图像的大部分高频和部分中频部分，由纹理和噪声组成的振荡成分[5]。对于图像卡通纹理分解的算法，若是采用线性的分解算法的话，类似于数字信号中的滤波过程，给定一个恰当的频率点，高于该频率点就被屏蔽掉；即从一个图像中分解出卡通部分时必然包括小部分的高频成分，同样分解出纹理部分时肯定会带有少部分低频成分模糊图像的边缘。后来Meyer提出了通过解决变分问题的方法来解决卡通纹理分解的问题。即当卡通部分具有最小的总变分（TV），纹理部分在BV的对偶空间中具有最小的范数，那么就能够得到较好的卡通纹理分解；不惩罚振荡准则，即当纹理分量的频率越高，相对应的范数就越小。本文图像卡通纹理分解算法采用文献[5]中提到的快速卡通纹理分解算法。
4 本文算法的步骤（The steps of the algorithm）
本文大体的框架分为两个步骤。第一步，对于稀疏字典的学习，即从已知的样本库中训练得到高低分辨率字典；第二步，超分辨率图像的重建过程。根据低分辨率观测图像块和训练得到的低分辨率字典得到对应的稀疏表示系数，然后再利用高分辨率字典和的乘积来估计高分辨率图像块。然而本文加入了图像卡通-纹理分解的概念，首先对样本进行卡通纹理分解，分为卡通的样本和纹理的样本，依据不同的两类样本库分别训练得到两对字典，即卡通的高低分辨率字典、和纹理的高低分辨率字典、。对于输入的待重建低分辨率图像，将其进行卡通纹理分解为卡通图像和纹理图像。运用稀疏表示的方法估计的高分辨率卡通图像，同样也可估计出高分辨率纹理图像，然后将和加权线性叠加，最后全局优化得到目标图像。具体的图像重建步骤如下：
步骤1：输入卡通字典和纹理字典，低分辨率观测图像，卡通纹理分解为。
步骤2：从的左上角开始逐个取3×3图像块，保留1个像素宽的重叠区域，计算对应于卡通的低分辨率字典的稀疏表示系数，然后利用2.2节提到的稀疏表示的方法估计出卡通图像的高分辨率图像。
步骤3：将估计得到的卡通图像的高分辨率图像和的双三次插值放大的图像叠加得到卡通图像超分辨率重建的初始估计；同样可以得到，纹理图像的初始估计；根据线性权重叠加得到初始的超分辨率图像最优估计。
步骤4：最后对图像全局优化，根据，
计算最终估计的高分辨图像。
5 实验与分析（Experiment and analysis）
本文使用的软硬件实验环境为Core（TM）2 Quad CPU Q9400 2.66GHz，2GB内存和Matlab 7.8.0（R2009a）实验平台。选取和文献[4]中一样的69张具有相似统计特性的图像作为样本库，首先对其进行卡通纹理分解，分为卡通图像样本库和纹理图像样本库，分别稀疏编码学习，求解卡通字典和纹理字典，再分别进行卡通和纹理高分辨率图像的重建，最后线性叠加合成。这里线性叠加的权重比例，经实验比较选择了为最佳。对于彩色图像，因为人类视觉系统对亮度信号更为敏感，本实验中只取相应的亮度通道进行处理。如图2所示，运用本文提出的算法对128×128像素的Lena图像进行超分辨率图像重建。图像块大小选取3×3像素，并保留一个像素宽的重叠区域。放大的倍数为2，则相对应的高分辨率图像块大小为6×6，保留两个像素的重叠。最后，将本文实验的结果与双三次插值法、Yang等人的算法在视觉效果和峰值信噪比（PSNR）评价标准方面进行对比。
如图1所示，（a）低分辨率Lena图像。（b）双三次插值法（Bi-cubic）重建的图像。（c）Yang算法重建的Lena图像。（d）原始高分辨率Lena图像。（e）本文算法重建的高分辨率卡通图像。（f）本文算法重建的高分辨率纹理图像。（g）本文算法重建的高分辨率Lena图像。从实验结果可以看出双三次插值法重建的图像有均匀的颗粒感，而且细节部分模糊。Yang算法和本文提出的算法重建的高分辨率图像则表现不明显，且画面细腻，细节部分清晰。
下面的表1给出了三种超分辨率算法的峰值信噪比（PSNR）和实验所消耗时间的比较，从表1中可以看到，PSNR方面，本文算法较前两种方法重建的图像有所提高，不过耗时方面相比前两种方法还有待提高，如何缩短计算时间复杂度也是接下来要研究的课题。
6 结论（Conclusion）
本文是在经典的稀疏表示的超分辨率图像重建基础之上，提出将卡通纹理分解的方法与稀疏表示结合来实现图像超分辨重建。从实验结果来看，首先，在同等条件下，本文算法重建的图像质量在视觉上比双三次插值法和Yang等人提出的算法要好；再者，峰值信噪比（PSNR）方面也比后两种方法高。这表明本文提出的方法具有一定优越性。不过，文中涉及两个字典的学习即卡通和纹理字典的学习，必将提高了实验的时间复杂度。接下来，可考虑在加快稀疏编码学习的速度上做研究，提高计算效率，得到更加有效、紧凑的字典。
参考文献（References）
[1] Lu Ziwei，Wu Chengdong，Chen Dongyue，et al.Overview on Image Super R-esolution Reconstruction.26th Chinese Control and Decision Conference，CCDC，2014：2009-2014.
[2] Yao Zhao，et al. A novel infrared image super-resolution method based on sparse representation[J].Infrared Physics
关键词：超分辨率；稀疏表示；字典学习；卡通纹理
中图分类号：TP391 文献标识码：A
Abstract：Due to the unsatisfactory result of image super-resolution reconstruction based on sparse representation method proposed by Yang et al，this paper proposes a new method，which combines image cartoon-texture decomposition and sparse representation，to achieve super-resolution reconstruction of low-resolution single images.The algorithm proposed in this paper involves two types of dictionaries：the cartoon dictionary and the texture dictionary.The image reconstruction process is divided into 2 steps：firstly，it reconstructs a high-resolution cartoon image and a high-resolution texture image from a low-resolution image，then，it overlays the newly reconstructed high-resolution cartoon image and the high-resolution texture image through linear weighting.As the experiment result shows，the method proposed in this paper brings significant improvement in both subjective visual quality and objective PSNR （Peak Signal to Noise Ratio）.
Keywords：super resolution；sparse representation；dictionary learning；cartoon-texture
1 引言（Introduction）
提高图像的分辨率一直都是图像处理领域一个重要的课题，由于成像系统及工艺的限制，从硬件方面提高图像分辨率难度大且成本高，所以通过软件算法的方法能够实现图像的超分辨率重建具有重要意义[1]。此外，这种利用算法来实现图像增强的方法广泛应用于军事遥感、卫星成像、视频监控和医学图像等领域，可见它的理论研究极具价值。超分辨率重建，直白地讲，就是通过同一场景下一幅或者多幅低分辨率图像重建一幅清晰的高分辨率图像。目前，图像的超分辨率重建算法主要有三种。第一种是基于插值的超分辨率重建算法，即利用周围像素或者邻近像素点间的关系对高分辨率图像中未知像素进行估计，这类方法简单、运算速度快，缺点是重建的高分辨率图像会存在块效应且图像边缘伴随锯齿效应；第二种是基于重建约束的超分辨率重建算法，假设合理的图像退化模型，根据图像退化模型来重建高分辨率图像；第三种是基于学习的超分辨率重建算法，通过对训练图像特征块的学习，建立两种之间的关系，根据它们之间的这种关系重建出高分辨率图像，这类方法是近来研究的热点方向[2]。
2 基于稀疏表示的超分辨率图像重建（Super- resolution image reconstruct-ion based on sparse representation）
2.1 信号的稀疏表示
任何维空间域的一个维信号都可以由N个维度的基向量的线性组合来表示，即，其中表示对应的系数。写成矩阵的形式，即为。可以将看成的基矩阵；是由构成的维的列向量组成的系数向量，对于这个系数向量可看成是信号的等价表示，或者是信号在线性组合下的表征。若系数向量中元素不为零的数目远远小于，就称该信号具有稀疏性。
2.2 稀疏编码实现图像超分辨率重建
压缩感知的理论研究表明自然图像具有稀疏性，这使得利用稀疏理论来研究图像处理成为可能[3]。设图像信号为，对于具有稀疏性的图像信号，寻求一个类似于一维信号稀疏分解中的基矩阵，使得图像信号在上得到最稀疏化的表示。图像稀疏表示的问题，即图像信号
将称作字典，为原子，叫做系數矩阵，表示精度允许的误差。在经典的稀疏表示的图像超分辨率重建模型中，涉及到两个字典高分辨率字典和低分辨率字典。本文采用文献[4]中联合字典训练的方式，将高、低分辨率训练样本统一进行稀疏关联学习，为了保证高、低分辨率图像能有相同的稀疏表示系数。对于输入的待重建的低分辨率图像块，求解在下的稀疏表示。此时，则高分辨率图像块，最后将得到高分辨率图像块和低分辨率图像块双三次插值得到的图像合成求得重建的高分辨率图像块。
3 快速卡通纹理分解模型（Fast cartoon texture decomposition model） 图像卡通-纹理分解，又可以称为结构-纹理分解，一个灰度级图像可以表示为分解成；其中表示图像的结构分量，包含图像的大部分低频和部分中高频，是图像的主要特征结构部分，是图像的简化逼近，也称为卡通（cartoon）；表示图像的纹理部分（texture），包含图像的大部分高频和部分中频部分，由纹理和噪声组成的振荡成分[5]。对于图像卡通纹理分解的算法，若是采用线性的分解算法的话，类似于数字信号中的滤波过程，给定一个恰当的频率点，高于该频率点就被屏蔽掉；即从一个图像中分解出卡通部分时必然包括小部分的高频成分，同样分解出纹理部分时肯定会带有少部分低频成分模糊图像的边缘。后来Meyer提出了通过解决变分问题的方法来解决卡通纹理分解的问题。即当卡通部分具有最小的总变分（TV），纹理部分在BV的对偶空间中具有最小的范数，那么就能够得到较好的卡通纹理分解；不惩罚振荡准则，即当纹理分量的频率越高，相对应的范数就越小。本文图像卡通纹理分解算法采用文献[5]中提到的快速卡通纹理分解算法。
4 本文算法的步骤（The steps of the algorithm）
本文大体的框架分为两个步骤。第一步，对于稀疏字典的学习，即从已知的样本库中训练得到高低分辨率字典；第二步，超分辨率图像的重建过程。根据低分辨率观测图像块和训练得到的低分辨率字典得到对应的稀疏表示系数，然后再利用高分辨率字典和的乘积来估计高分辨率图像块。然而本文加入了图像卡通-纹理分解的概念，首先对样本进行卡通纹理分解，分为卡通的样本和纹理的样本，依据不同的两类样本库分别训练得到两对字典，即卡通的高低分辨率字典、和纹理的高低分辨率字典、。对于输入的待重建低分辨率图像，将其进行卡通纹理分解为卡通图像和纹理图像。运用稀疏表示的方法估计的高分辨率卡通图像，同样也可估计出高分辨率纹理图像，然后将和加权线性叠加，最后全局优化得到目标图像。具体的图像重建步骤如下：
步骤1：输入卡通字典和纹理字典，低分辨率观测图像，卡通纹理分解为。
步骤2：从的左上角开始逐个取3×3图像块，保留1个像素宽的重叠区域，计算对应于卡通的低分辨率字典的稀疏表示系数，然后利用2.2节提到的稀疏表示的方法估计出卡通图像的高分辨率图像。
步骤3：将估计得到的卡通图像的高分辨率图像和的双三次插值放大的图像叠加得到卡通图像超分辨率重建的初始估计；同样可以得到，纹理图像的初始估计；根据线性权重叠加得到初始的超分辨率图像最优估计。
步骤4：最后对图像全局优化，根据，
计算最终估计的高分辨图像。
5 实验与分析（Experiment and analysis）
本文使用的软硬件实验环境为Core（TM）2 Quad CPU Q9400 2.66GHz，2GB内存和Matlab 7.8.0（R2009a）实验平台。选取和文献[4]中一样的69张具有相似统计特性的图像作为样本库，首先对其进行卡通纹理分解，分为卡通图像样本库和纹理图像样本库，分别稀疏编码学习，求解卡通字典和纹理字典，再分别进行卡通和纹理高分辨率图像的重建，最后线性叠加合成。这里线性叠加的权重比例，经实验比较选择了为最佳。对于彩色图像，因为人类视觉系统对亮度信号更为敏感，本实验中只取相应的亮度通道进行处理。如图2所示，运用本文提出的算法对128×128像素的Lena图像进行超分辨率图像重建。图像块大小选取3×3像素，并保留一个像素宽的重叠区域。放大的倍数为2，则相对应的高分辨率图像块大小为6×6，保留两个像素的重叠。最后，将本文实验的结果与双三次插值法、Yang等人的算法在视觉效果和峰值信噪比（PSNR）评价标准方面进行对比。
如图1所示，（a）低分辨率Lena图像。（b）双三次插值法（Bi-cubic）重建的图像。（c）Yang算法重建的Lena图像。（d）原始高分辨率Lena图像。（e）本文算法重建的高分辨率卡通图像。（f）本文算法重建的高分辨率纹理图像。（g）本文算法重建的高分辨率Lena图像。从实验结果可以看出双三次插值法重建的图像有均匀的颗粒感，而且细节部分模糊。Yang算法和本文提出的算法重建的高分辨率图像则表现不明显，且画面细腻，细节部分清晰。
下面的表1给出了三种超分辨率算法的峰值信噪比（PSNR）和实验所消耗时间的比较，从表1中可以看到，PSNR方面，本文算法较前两种方法重建的图像有所提高，不过耗时方面相比前两种方法还有待提高，如何缩短计算时间复杂度也是接下来要研究的课题。
6 结论（Conclusion）
本文是在经典的稀疏表示的超分辨率图像重建基础之上，提出将卡通纹理分解的方法与稀疏表示结合来实现图像超分辨重建。从实验结果来看，首先，在同等条件下，本文算法重建的图像质量在视觉上比双三次插值法和Yang等人提出的算法要好；再者，峰值信噪比（PSNR）方面也比后两种方法高。这表明本文提出的方法具有一定优越性。不过，文中涉及两个字典的学习即卡通和纹理字典的学习，必将提高了实验的时间复杂度。接下来，可考虑在加快稀疏编码学习的速度上做研究，提高计算效率，得到更加有效、紧凑的字典。
参考文献（References）
[1] Lu Ziwei，Wu Chengdong，Chen Dongyue，et al.Overview on Image Super R-esolution Reconstruction.26th Chinese Control and Decision Conference，CCDC，2014：2009-2014.
[2] Yao Zhao，et al. A novel infrared image super-resolution method based on sparse representation[J].Infrared Physics