论文部分内容阅读
近年来,随着多媒体技术的发展,立体图像受到越来越多的关注,而立体图像在采集、压缩、传输、显示等过程中均会产生降质问题,立体图像的质量会直接影响人们的观看体验,因此,亟需一种有效的评价方法对立体图像质量进行评估,好的评估方法还可以刻画与之相关的各种图像处理技术的优劣,并据此加以改进。
深度学习,尤其是卷积神经网络在最近几年得到了快速发展,在图像分类和物体检测等领域中都得到了很好的应用。卷积神经网络模拟人脑认知系统,通过对海量数据深度挖掘,提取深层特征信息,以自主学习的方式对目标进行求解,从而有效解决相关问题。因此,论文提出使用卷积神经网络,构建一类无参考立体图像质量评估算法,主要展开了如下两方面的工作。
第一,论文提出了一种基于融合图像的无参考立体图像质量评价方法。为了更好地模拟人脑处理立体图像的过程,论文提出先将左右视图融合,然后对融合图像进行重叠切块后作为迁移学习网络的输入进行训练;迁移学习网络模型较传统卷积神经网络收敛快,而且具有更好的初始权重;最后利用显著特性对各图像小块的输出进行加权以更好地模拟人眼的视觉显著特性。
第二,论文提出了一种端到端的双通道深度卷积神经网络,该网络通过局部到全局回归进行无参考立体图像质量评价。在当前大多数基于深度学习的立体图像质量评价方法中,一般使用MOS或DMOS作为标签来调整网络参数,但该方法存在一定的局限性,尤其对于非对称失真的立体图像。为了解决该问题,首先,论文提出使用特征相似性指标分别为左视图和右视图提供伪标签,以便更好地训练左、右通道,称为局部回归;然后,论文使用DMOS值来微调局部训练的模型参数,即全局回归;具体而言,论文将左右视图的高层次特征通过连接层结合起来,然后利用挤压激励模块来模拟双目竞争特性,利用两个卷积运算来模拟人眼视觉系统中的双目融合特性;最后,通过三个全连接层输出图像的质量分数。
论文在公开的LIVE3Dphase-I、LIVE3Dphase-II数据库上进行测试,结果表明论文所提方法在对称和非对称立体图像数据库上较其它方法均取得了较好的结果,能够与人类的主观感知保持良好的一致性。
深度学习,尤其是卷积神经网络在最近几年得到了快速发展,在图像分类和物体检测等领域中都得到了很好的应用。卷积神经网络模拟人脑认知系统,通过对海量数据深度挖掘,提取深层特征信息,以自主学习的方式对目标进行求解,从而有效解决相关问题。因此,论文提出使用卷积神经网络,构建一类无参考立体图像质量评估算法,主要展开了如下两方面的工作。
第一,论文提出了一种基于融合图像的无参考立体图像质量评价方法。为了更好地模拟人脑处理立体图像的过程,论文提出先将左右视图融合,然后对融合图像进行重叠切块后作为迁移学习网络的输入进行训练;迁移学习网络模型较传统卷积神经网络收敛快,而且具有更好的初始权重;最后利用显著特性对各图像小块的输出进行加权以更好地模拟人眼的视觉显著特性。
第二,论文提出了一种端到端的双通道深度卷积神经网络,该网络通过局部到全局回归进行无参考立体图像质量评价。在当前大多数基于深度学习的立体图像质量评价方法中,一般使用MOS或DMOS作为标签来调整网络参数,但该方法存在一定的局限性,尤其对于非对称失真的立体图像。为了解决该问题,首先,论文提出使用特征相似性指标分别为左视图和右视图提供伪标签,以便更好地训练左、右通道,称为局部回归;然后,论文使用DMOS值来微调局部训练的模型参数,即全局回归;具体而言,论文将左右视图的高层次特征通过连接层结合起来,然后利用挤压激励模块来模拟双目竞争特性,利用两个卷积运算来模拟人眼视觉系统中的双目融合特性;最后,通过三个全连接层输出图像的质量分数。
论文在公开的LIVE3Dphase-I、LIVE3Dphase-II数据库上进行测试,结果表明论文所提方法在对称和非对称立体图像数据库上较其它方法均取得了较好的结果,能够与人类的主观感知保持良好的一致性。