论文部分内容阅读
摘 要 如安防监控、远程会议、医疗图像等。和绘制的图形不同的是，由于采集設备的精度问题，往往难以得到足够精度的图像。尤其在视频监控领域，由于数据存储量大，传输链路带宽有限，以及CCD制造工艺和成本的限制，摄像头的分辨率往往难以得到很好的改善。本文的目的是研究基于深度神经网络的图像分辨率增强技术。本文针对图像分辨率增强问题，研究了超分辨率的相关理论和方法，设计了针对实际图像进行分辨率增强的处理框架，通过预处理提高分辨率增强方法的效果，并提出了一个有效的光照归一化方法。针对图像分辨率增强，提出了基于深度神经网络的分辨率增强方法，通过对各种图像的增强，有效的提高了实验结果的视觉效果。研究结果表明，图像分辨率增强处理能够在一定程度上提高相同硬件条件下的图像的空间分辨率，改善因为硬件条件不足而造成的图像退化及分辨率下降，在一定程度上弥补了图像分辨率不足，使图像更加清晰。
关键词 深度神经网络 图像分辨率 分辨率增强技术
中图分类号：TP751 文献标识码：A 文章编号：1007-0745（2021）01-0003-03
1 前言
随着大数据时代的到来和计算机运算能力的显著提升，以深度学习为首的智能算法正在占据我们的日常生活。对于提高图像分辨率，可以依靠提高拍摄系统的精度和稳定性来实现。但这样做的费用高，且制作技术难以实现，因此不能很好的解决提高图像分辨率的问题。然而卷积神经网络作为深度学习模型中的一种，在图像识别领域的准确率很高，比人类肉眼更加精准，因此结合深度神经网络在图像分辨率增强技术的出色表现，研究基于深度神经网络的图像分辨率增强技术具有重要的意义。图像信息在我们的日常生活中有着举足轻重的地位，图像的分辨率大小是衡量图像质量的重要指标之一，所以我们也可以利用深度神经网络的优点，将图像和相关的神经网络聚集到一起，使它不仅让图像分辨率增强，也可以广泛应用于图像处理的其他领域，以得到我们需要的结果。
本文讨论的图像分辨率增强技术主要指超分辨率技术，在80年代以前，针对超分辨率提出过长椭球波函数法、线性外推法、叠加正弦模板法等不同的方法，但在实用中的效果并不好[1]。80年代以后，超分辨率技术有了突飞猛进的发展，Huang等在用多幅遥感图像恢复一张高质量的Landsat卫星图像时，采用多幅卫星图像对一幅图像进行增强，取得了较好的效果[2]。随后，基于重建的方法蓬勃发展，形成了基于插值的方法、迭代反向投影法（IBP）、最大后验概率法（MAP）、凸集投影法（POCS）、正则化方法等不同的方法[3]。以上方法都是属于空间域的方法，除此外还有部分学者致力于频域方法的研究[4]。频域方法的基本思想是通过在频域消除频谱混叠，从而达到改善图像空间分辨率的目的，其理论基础是傅里叶变换的平移特性[5]。目前已经很少有学者对频域方法进行进一步的研究。相应的，空间域方法则由于其灵活性而得到了很大的发展，各种方法百花齐放[6]。针对图像质量下降的各种因素，采用不同的数学方法来描述图像的成像和降质过程，并可以运用很多成熟的数学方法进行求解，需要克服的困难就是模型的复杂性和求解的困难性，大量学者在该领域内做出了大量的工作[7-8]。基于深度神经网络的方法是当前超分辨率研究领域的研究热点，与传统方法相比，该方法最大的不同就是指导图像分辨率增强的先验信息并非来源于学者的总结，而是从大量作为参考的高分辨率图像的神经网络中得来[9]。通过对参考图像的高频信息和低频信息之间的规律的学习，从中总结出高频块和低频块对等不同形式的先验信息来指导低分辨率图像所缺失的高频信息的恢复[10]。
本文基于深度神经网络针对实际的图像分辨率，设计了一个图像分辨率增强框架，引入了适当的预处理，通过Retinex理论实现照度的归一化，并针对传统的Retinex方法速度较慢，不符合Retinex理论的先验约束等缺点，设计了基于几何包络的Retinex方法，通过对各方面的图像分辨率增强，有效的提高了实验结果的视觉质量，实验结果也与原始高分辨率图像更接近。
2 方法
2.1 数字图片成像和降质模型
超分辨率的目的是要从观测得到的低分辨率图像还原出“原始”高分辨率图像，本质是观测过程的逆过程，所以首先需要建立一个简洁又符合事实的成像模型和降质模型。首先，假设高分辨率图像为L1N1×L2N2的矩阵。将该矩阵写成行接向量的形式为X=[x1，x2，x3，……，xn]T，其中N=L1N1L2N2，即将图像的每一行所构成的行向量按照顺序首尾相接组成一个一维的向量。这里，x是一个“理想”图像，即它是从原始的连续场景在Nyquist采样率或更高采样率上采集得到的，包含了原始场景的全部信息，可以完整的恢复出原始信号。采样得到的“理想”高分辨率图像并不能直接被人所观测到或者被仪器所记录下来，因为这仅仅是观测过程中的一个中间结果。由于光线在空气中传播的不均匀性、镜头和场景的相对运动、镜头的透光缺陷等因素，“理想”的高分辨率图像又经过了平移旋转等空间变换、散焦运动等模糊因素的影响，投影到CCD感光板上。由于CCD颗粒度的密度有限，它的采样过程是一个降采样过程，即图像的大小又进一步缩小。最后，在光电转换和传输的过程中又有模糊因素的加入，这才是完整的一个观测过程。完整的观测过程可以用以下公式进行表达。
yk=DBkMkx nk
关键词 深度神经网络 图像分辨率 分辨率增强技术
中图分类号：TP751 文献标识码：A 文章编号：1007-0745（2021）01-0003-03
1 前言
随着大数据时代的到来和计算机运算能力的显著提升，以深度学习为首的智能算法正在占据我们的日常生活。对于提高图像分辨率，可以依靠提高拍摄系统的精度和稳定性来实现。但这样做的费用高，且制作技术难以实现，因此不能很好的解决提高图像分辨率的问题。然而卷积神经网络作为深度学习模型中的一种，在图像识别领域的准确率很高，比人类肉眼更加精准，因此结合深度神经网络在图像分辨率增强技术的出色表现，研究基于深度神经网络的图像分辨率增强技术具有重要的意义。图像信息在我们的日常生活中有着举足轻重的地位，图像的分辨率大小是衡量图像质量的重要指标之一，所以我们也可以利用深度神经网络的优点，将图像和相关的神经网络聚集到一起，使它不仅让图像分辨率增强，也可以广泛应用于图像处理的其他领域，以得到我们需要的结果。
本文讨论的图像分辨率增强技术主要指超分辨率技术，在80年代以前，针对超分辨率提出过长椭球波函数法、线性外推法、叠加正弦模板法等不同的方法，但在实用中的效果并不好[1]。80年代以后，超分辨率技术有了突飞猛进的发展，Huang等在用多幅遥感图像恢复一张高质量的Landsat卫星图像时，采用多幅卫星图像对一幅图像进行增强，取得了较好的效果[2]。随后，基于重建的方法蓬勃发展，形成了基于插值的方法、迭代反向投影法（IBP）、最大后验概率法（MAP）、凸集投影法（POCS）、正则化方法等不同的方法[3]。以上方法都是属于空间域的方法，除此外还有部分学者致力于频域方法的研究[4]。频域方法的基本思想是通过在频域消除频谱混叠，从而达到改善图像空间分辨率的目的，其理论基础是傅里叶变换的平移特性[5]。目前已经很少有学者对频域方法进行进一步的研究。相应的，空间域方法则由于其灵活性而得到了很大的发展，各种方法百花齐放[6]。针对图像质量下降的各种因素，采用不同的数学方法来描述图像的成像和降质过程，并可以运用很多成熟的数学方法进行求解，需要克服的困难就是模型的复杂性和求解的困难性，大量学者在该领域内做出了大量的工作[7-8]。基于深度神经网络的方法是当前超分辨率研究领域的研究热点，与传统方法相比，该方法最大的不同就是指导图像分辨率增强的先验信息并非来源于学者的总结，而是从大量作为参考的高分辨率图像的神经网络中得来[9]。通过对参考图像的高频信息和低频信息之间的规律的学习，从中总结出高频块和低频块对等不同形式的先验信息来指导低分辨率图像所缺失的高频信息的恢复[10]。
本文基于深度神经网络针对实际的图像分辨率，设计了一个图像分辨率增强框架，引入了适当的预处理，通过Retinex理论实现照度的归一化，并针对传统的Retinex方法速度较慢，不符合Retinex理论的先验约束等缺点，设计了基于几何包络的Retinex方法，通过对各方面的图像分辨率增强，有效的提高了实验结果的视觉质量，实验结果也与原始高分辨率图像更接近。
2 方法
2.1 数字图片成像和降质模型
超分辨率的目的是要从观测得到的低分辨率图像还原出“原始”高分辨率图像，本质是观测过程的逆过程，所以首先需要建立一个简洁又符合事实的成像模型和降质模型。首先，假设高分辨率图像为L1N1×L2N2的矩阵。将该矩阵写成行接向量的形式为X=[x1，x2，x3，……，xn]T，其中N=L1N1L2N2，即将图像的每一行所构成的行向量按照顺序首尾相接组成一个一维的向量。这里，x是一个“理想”图像，即它是从原始的连续场景在Nyquist采样率或更高采样率上采集得到的，包含了原始场景的全部信息，可以完整的恢复出原始信号。采样得到的“理想”高分辨率图像并不能直接被人所观测到或者被仪器所记录下来，因为这仅仅是观测过程中的一个中间结果。由于光线在空气中传播的不均匀性、镜头和场景的相对运动、镜头的透光缺陷等因素，“理想”的高分辨率图像又经过了平移旋转等空间变换、散焦运动等模糊因素的影响，投影到CCD感光板上。由于CCD颗粒度的密度有限，它的采样过程是一个降采样过程，即图像的大小又进一步缩小。最后，在光电转换和传输的过程中又有模糊因素的加入，这才是完整的一个观测过程。完整的观测过程可以用以下公式进行表达。
yk=DBkMkx nk