论文部分内容阅读
现今,随着智能手机等产品的普及,图像成为传播信息的主要形式,这使得移动数据流量呈现快速增长。在图像的传输等过程中,都会造成一定程度的失真,因此需要好的方法对图像质量进行有效评价。在实际的生活中,由于很难获得失真图像的原来的参考图像,因此本文的研究内容是基于深度学习的无参考图像质量评价方法研究。深度学习在最近几年得到了快速发展,尤其在图像处理、语音识别等多个领域里都得到了很好的应用并取得了不错的成果。深度学习可以对数据进行充分的训练和特征学习,训练出的模型可以很好地反映出数据中的潜在丰富信息,本文将深度学习应用到图像质量评价中。本文的主要研究内容如下:1、利用深度信念网络,针对无参考混合失真的图像质量进行评价。该方法先对混合失真图像库里的图像进行局部亮度系数归一化,再切成20×20的无重叠的图像小块,将小块的矩阵重新转化成1×400的矩阵,则矩阵的一行代表一个小块。之后根据数据库DMOS取值范围平均分成二十类,对每一个小块按照其DMOS值分类,制作小块标签,并制作完成训练集和测试集。然后将其输入到DBN模型中训练学习,得出图像小块质量类别的分类。最后用设计的质量池化方法得到测试的混合失真图像的质量分数,并得到针对整个LIVE混合失真数据库的评价指标。2、利用Siamese网络,构建一个能较快地预测立体图像质量的评价模型。该方法将归一化后的立体图像对作为Siamese网络的输入,利用左右视图的相似性和Siamese网络的原理,将左视图学习过程中的权值作为右视图学习过程中的权值,这样可以减少计算量和计算时间。Siamese网络有两个分支网络共享权值,然后使用对比损失函数,来提升网络对数据集的识别能力,最后得到的回归模型可以预测立体图像的质量得分。3、根据图像融合能保留原有图像的信息并且减少计算量,提出了一种基于图像融合和CNN的立体图像质量评价算法。该方法通过PCA融合的方法对立体图像的左右视图进行融合,再对融合后的图像做局部亮度均值作减和对比度归一化,然后每幅图像选取40×40的不重叠小块作为输入,通过设计的卷积神经网络训练出一个能反映立体图像质量特征与主观评分差值之间映射关系的评价模型,得到立体图像小块的分数,取每个小块图像的均值即为整幅失真立体图像的预测质量分数。最后的实验表明,该方法获得了较好的评价结果。4、利用双目视觉特性,设计了一个深度卷积神经网络,采用多通道输入的方法,对立体图像质量进行评价。两通道的输入是未经处理的左右视图小块,三通道输入是分别将左右视图、视差图作为卷积神经网络的输入,视差图包含了立体图像的深度信息。然后对各个通道分别进行卷积池化,最后的池化采用最大、中值池化联合的方法,可以有效地提取图像的感知特征,最后将三个通道输出的特征向量线性拼接,一起输入到全连接层,得到图像质量特征和分数之间的回归模型。最终在立体库上的实验结果表明本方法与人眼主观感知具有较高的一致性,加入视差图之后获得的评价效果更好。