论文部分内容阅读
随着在线社交媒体的蓬勃发展和移动设备的普及,数字图像已成为人们日常生活沟通和交流的重要载体。各大在线服务提供商每天产生、传输、存储不计其数的数字图像。为了节省资源并降低消耗,所有图像在上述过程中都不可避免地受到各种各样的失真干扰。然而,预想达到良好的用户体验则需要较高质量的图像。这就使得如何在现有带宽条件约束下,寻找最优的视觉质量成为当今多媒体领域面临的一项重大考验。因为图像的最终接收者是人,所以图像质量评价的目的是验证该评价结果是否与人类视觉系统的主观感受相一致。因此,如何建立符合人眼视觉特性的客观图像质量评价方法对多媒体领域的应用和发展具有重要的意义和作用。研究者从人类视觉系统特性出发,将部分影响主观感知的视觉特性和视觉因素应用于图像质量评价算法模型,并且已取得一定成效。但是,图像质量评价仍然存在着缺乏有效的视觉感知模型、提取的图像特征与图像质量相关性不高、未充分考虑视觉特性和自然场景统计特性之间的关系等问题。而对于立体图像质量评价,更应面向其特有的质量问题,充分考虑人眼双目视觉特性。本文以视觉特征为核心,结合稀疏表示理论,针对上述问题进行深入研究,提出了一系列基于视觉特征与自然场景统计的二维图像和立体图像质量评价算法。本文的研究内容主要包括以下三个部分:第一,提出了基于稀疏表示的部分参考的二维图像和立体图像质量评价方法。一方面,稀疏编码理论能够很好地表示哺乳动物初级视觉皮层简单细胞感受野的空间局部性、方向性和带通性。另一方面,稀疏表示的过程与人类视觉感知的多层渐进过程也有高度联系,大脑会逐步地处理视觉信息,从最基础的到包含一定结构的最后再处理富含丰富细节的信息。因此,我们利用人类视觉稀疏编码特性,提出了基于稀疏表示的部分参考的二维图像和立体图像质量评价方法。在该方法中,我们首先用一组自然图像训练出一个通用字典,并将字典中的基元视为视觉感知单元。根据视觉基元在视觉表示中的特性和图像重构过程中的视觉重要性,我们将字典中的所有基元可以被分为三类。利用分类的视觉基元重构图像时的概率分布计算视觉信息,称为分类基元熵。对于立体图像,使用左视点的分类基元熵,右视点的分类基元熵和两个视点的分类基元互信息共同来表示视觉信息。其中,使用最大值机制用来决定在不同稀疏等级下的视觉信息。使用原始图像和失真图像的视觉信息差异作为图像质量特征,通过支持向量回归(SVR)来预测图像质量。实验结果证明了所提模型的有效性,在不同图像质量评价数据库上能够达到与主观评价的高度一致性。第二,提出了基于稀疏表示和自然场景统计的非对称失真立体图像的部分参考质量评价算法。一个理想的图像质量评价模型应该可以模拟大脑视觉区的特性以保证与人类对图像质量评价的一致性。大脑视觉区不断进化以期能够为图像寻找一种有效的、去相关的表示方法,并且能够“匹配”自然图像的统计信息。一方面,研究表明稀疏表示类似于大脑的初级视觉皮层表示自然图像所采取的方案。另一方面,自然场景统计推动了人类视觉系统的进化,也促进了对视觉感知的理解和模拟。基于以上观察,针对立体图像非对称失真质量评价问题,本文提出了基于稀疏表示和自然场景统计的部分参考质量评价算法以期模拟人脑视觉感知。所提算法中,稀疏表示中的分类基元的分布统计信息用来衡量视觉信息,因其与多层渐进的视觉感知过程相关。局部归一化的亮度系数的统计分布被用来衡量因失真导致的自然性的损失。视觉信息和自然场景统计信息被用来预测立体图像的质量分数。实验结果表明,在多个非对称立体图像质量评价数据库上,我们的算法取得了比现有算法更好的预测性能。第三,提出了一系列参考信息可变的部分参考图像质量评价算法。因为部分参考质量评价方法只需要原始图像的部分信息,而算法的预测性能往往会随着所需原始图像信息的减少而下降,在所需原始图像信息和预测性能间寻找较好的平衡点对于设计部分参考质量评价算法来说非常重要且必要。大多数部分参考质量评价算法只能固定所需原始图像信息,而现实应用中的带宽条件往往根据不同任务而有所改变,所以设计一个所需参考信息可变并且预测性能良好的算法在实际应用中有十分重要的意义。因此,本文提出了一系列根据所需原始特征数量变化而参考信息可变的部分参考图像质量评价算法,该算法所需特征数量范围为一至字典基元的总数。用户可根据特定任务和带宽条件选择相应合适特征数量的算法,十分灵活实用。本文提出使用稀疏卷积受限玻尔兹曼机来训练字典,该方法可对数据进行有效的内在分布式表示。我们假设字典中的基元是视觉感知的基本单元,它包含一定的图像结构和视觉信息。不同基元的组合可以代表不同程度、不同等级的结构和视觉信息。所以我们可以使用多级分类基元熵来表示图像的质量特征,并用其训练质量预测模型。实验结果表明所提模型可以提供一系列所需原始图像信息可变并保证预测性能良好的算法,解决了用同一模型适应不同带宽条件和特定任务的问题。综上,本文以模拟人类视觉系统特性为基础,利用稀疏表示模型计算分类基元熵,提出了基于感知信息的部分参考图像质量评价模型,充分发掘了感知信息在图像质量评价中的应用潜力,切实解决了客观图像质量评价与主观感受的一致性问题,提高了预测性能,具有很高的实际意义。