论文部分内容阅读
数字图像作为人类最直观的信息载体蕴含着大量有价值的数据。在一张数字图像的整个生命周期中:获取,传输,压缩,存储以及各类图像处理过程均中,受到成像系统和成像环境,图像压缩算法,图像传输信道,图像存储介质以及不同的图像处理算法等影响,图像的感知质量都有可能遭受不同类型、不同程度的失真,从而造成蕴含在数字图像中的信息的损失。为了控制、保持和增强图像质量,对于图像的采集、管理、传输和处理系统来说,能够识别和量化图像质量等级就显得非常重要,因此开展图像质量评价研究具有深远的现实意义。此外,图像质量评价还能够为其他图像处理领域,例如图像去噪,图像去模糊,图像复原,图像超分辨率重建以及图像增强等提供客观的性能评价指标。在实际应用中,由于在大多数场合下无法获取图像的任何参考信息,因此相较于全参考和半参考图像质量评价,盲图像质量评价更有研究价值。本文着力于盲图像质量评价,从四个方面做出了贡献。本文首先提出了一种多通道特征聚合质量评价器模型MCAF,通过在多个不同的颜色空间中提取多类异构而互补的模拟HVS中心—周围拮抗机制的质量敏感特征组获取对图像信息的描述以及一种新颖的图像表征方法,解决了传统给予自然场景统计的盲图像质量评价对特征利用不充分以及表达不够完善的问题。在三个主流合成失真图像质量评价数据库的实验表明,相较于其他经典模型,MCAF取得了更高的主客观一致性以及良好的泛化性能。本文的第二个贡献为针对真实失真图像的质量评价研究提出了一个全新模型SE-ML-MI,利用一个较新的卷积神经网络模型SE-ResNet-50作为基础的特征提取器,延续MCAF中联合多类异构且互补特征的思路,联合提取了卷积神经网络中的浅层的图像低层特征,中层的图像纹理特征和高层的图像语义信息。为了更好地表达图像特征,本文同时使用了三种简单有效且互补的池化方式对每一层特征进行聚合。然后使用一种基于互信息的维度选择算法来减轻由于联合多层特征和多池化特征聚合手段带来的高图像表征维度和高图像表征信息冗余的问题。在两个真实失真图像质量评价数据库的实验和一个复合合成失真图像质量评价数据的实验结果表明SE-ML-MI相较于经典模型能够更好地应对真实场景中的图像质量评价任务且具有良好的泛化性能,同时在运算复杂度和预测度之间取得了一个良好的平衡。本文的第三个贡献在于提出了一种可端到端学习的深度双线性卷积神经网络DB-CNN。通过结合两个各有所长的网络分支组成的最终模型能够同时处理两大类的盲图像质量评价任务。DB-CNN的第一个分支为面向合成失真的S-CNN,在合成的大规模失真图像数据集中通过分类任务的形式对S-CNN进行训练获取一个良好的初始化权重。DB-CNN的第二个分支为面向真实失真的VGG-16,由于它已经在包含了许多真实失真图像的ImageNet中完成了预训练,因此可以较为成功地捕获真实失真图像的特性。通过对S-CNN和VGG-16进行裁剪然后通过双线性池化层将两个分支组成一个可端到端学习的有机整体,DB-CNN在三个合成失真数据库以及一个真实失真数据库中均取得了优秀的结果。此外,在大规模图像数据库Waterloo Exploration以及群体最大差异竞赛gMAD的实验结果表明DB-CNN具有优秀的可扩展性,泛化性和鲁棒性。最后,本文将盲图像质量评价引入纸币的新旧清分应用。首先收集了大量的实际纸币样本并进行采样,收集的样本分为大规模的预训练集和有人工分类的主观质量测试集。然后设计了一种轻量级卷积神经网络应用于纸币新旧清分,综合采纳了多种CNN的设计思路进行网络结构设计,并采取预训练加微调的双步骤训练策略以利用大样本的优势同时避开了主观标签不足的问题。实验结果表明该模型具有良好的新旧鉴别能力以及预测稳定性,对比实验也验证了它设计的合理性。