论文部分内容阅读
近年来,图像恢复技术因其在遥感成像、室外监控和公共安全等众多领域的广泛应用而备受人们的关注。大量的图像恢复算法被提出,以从失真图像中恢复出潜在的清晰图像。然而,没有哪一种图像恢复算法能对所有的视觉内容都有效。而恢复图像的质量直接关系恢复算法的性能,也直接决定了该技术能否在实际环境中成功应用。因此,研究图像恢复质量的客观评价具有重要意义。在对国内外研究现状及发展动态进行总结分析的基础上,本文对该领域中存在的关键问题进行深入研究,并提出相应的解决方案。具体地,本文主要研究恢复图像的质量评价和图像恢复算法的性能评价。本文的研究成果能用于图像恢复算法的自动参数选择、图像恢复算法的选择和指导图像恢复算法的设计等,具有重要的理论研究意义和实际应用价值。本文的主要工作和贡献如下:(1)研究了压缩感知图像恢复过程中引入失真对压缩感知恢复图像质量的影响机制,提出了一种基于局部和全局失真度量的压缩感知恢复图像质量评价方法。考虑到该课题尚无可用于质量评价方法性能测试的公开数据库,本文首先建立了一个压缩感知恢复图像数据库(Compressive Sensing Recovered Image Database,CSRID),采用十幅参考图像、十种先进的压缩感知图像恢复算法以及三种不同的感知率用以构建该数据库。然后通过主观实验获得图像的主观质量分数。压缩感知恢复图像的质量通常受到多维复合失真的影响,尤其是在低感知率的情况下。然而,大多数现有图像质量评价方法无法有效地评估多种失真,因此在预测压缩感知恢复图像的质量时受限。基于以上分析,本文提出了一种基于局部和全局失真度量的方法。局部特征包括基于局部相位相干的边缘清晰度度量和基于灰度共生矩阵的纹理度量。对于全局失真,本文提取两类基于自然场景统计的特征来描述:一类是通过计算图像的自然性参数得到,另一类则根据奇异值分解系数的统计量来计算。最后,使用支持向量回归进行模型训练和后续的质量预测。在CSRID数据库上的实验结果表明了本文方法的优越性。作为一个应用,该方法被用于压缩感知图像恢复算法的参数自动选择。(2)研究了去运动模糊图像中的多失真特性,提出了一种基于噪声、振铃效应和残留模糊度量的去运动模糊图像质量评价方法。由于不精确的模糊核估计,图像去运动模糊过程通常会引入振铃效应。同时,运动模糊难以被完全去除,导致去运动模糊图像中包含残留的运动模糊。然而,大多数现有图像质量评价方法是针对传统失真设计的,难以对振铃效应进行有效地度量。因此,它们无法有效地评价去运动模糊图像的质量。基于以上分析,本文提出了一种基于噪声、振铃效应和残留模糊度量的方法。对于噪声,本文在三个通道分别进行度量,然后再计算其平均值。对于振铃效应,以运动模糊图像为参考,本文提出了一种基于视觉显著特性的评价方法。对于残留模糊,本文提出了一种基于图像再模糊的模糊评价方法。最后,将这三部分的分数结合生成最终的去运动模糊图像质量分数。在去运动模糊图像数据库上的实验结果表明,本文提出的方法明显优于现有的图像质量评价方法。另外,通过实验证明了该方法在提升现有通用无参考型图像质量评价方法的性能中具有非常不错的性能表现。(3)研究了恢复图像的相对质量排序,提出了一种通用无参考型图像恢复算法性能评价框架。工作(1)和(2)中提出的方法均为特定恢复场景而设计的,因此,它们的泛化能力有限。通过各种算法生成的恢复图像的排序对于图像恢复算法性能评价来说是最重要的考虑因素。受此启发,本文提出了一种基于恢复图像排序学习的图像恢复算法性能评价框架。基于该框架,结合空间域和频域质量感知特征,本文进一步提出了一种通用型图像恢复质量评价方法。该方法具有良好的泛化性能,适用于各种恢复场景。在五种恢复场景的八个公共数据库上进行的大量实验结果表明,该方法的性能优于现有的图像质量评价方法。此外,本文提出的框架可用于提升现有图像质量评价方法在图像恢复算法性能评价任务中的性能。(4)研究了失真图像和相应的恢复图像(Degraded Input and the corresponding Restored Image,DIRI)的相对质量差异,提出了一种基于卷积神经网络的通用型图像恢复质量评价方法。工作(3)中提出的方法从恢复图像间的质量排序关系建立模型,无法预测DIRI对的相对质量差异,而该差异是图像恢复算法性能评价的另一个指标。此外,工作(3)中提出的方法是基于手工特征设计的,因此难以对图像恢复失真进行全面的描述。对于图像恢复算法性能评价来说,量化DIRI对的相对质量差异是最可靠的方法之一。基于此,本文提出了一种基于孪生网络的相对质量差异学习(Siamese-network-based relative Quality Difference Learning,SQDL)模型。首先,本文从失真图像和恢复图像中构建DIRI对,然后将DIRI对和相应的质量标签用来训练端到端的SQDL模型,最后根据预测的相对质量差异直接确定这些算法的性能排序。为了解决训练数据有限的问题,在不需要人工标注的情况下,本文建立了一个大规模图像质量数据库,并对SQDL模型进行预训练。在两种图像恢复场景的四个公共数据库上的实验结果表明,本文提出的方法优于最先进的质量评价方法。此外,跨数据库测试证明了该方法在泛化能力方面的优越性。该论文有图42幅,表43个,参考文献198篇。