论文部分内容阅读
随着立体成像技术的发展,立体图像逐步走进人们的生活,但观看质量不好的立体图像会引起人们心理和生理上的不适,这严重限制了立体成像技术的发展,因此找到一种能够系统有效的评价立体图像质量的算法已成为了相关领域的研究热点。论文的主要工作如下:
第一,论文提出了一种基于自适应的融合图像与集成学习的立体图像评价算法。首先考虑到增益控制和增益增强等人眼视觉机制,模拟双目视觉信息在视觉通路中的融合过程,将立体图像左右视图融合成融合图像,该融合图像考虑了左右视图线性与非线性的融合情况,适用于对称与非对称失真立体图像的融合,是一种自适应的融合图像模型。此外,考虑到视觉显著机制,采用显著图优化所得融合图像,提升质量评价效果。为了去除融合图像中的冗余信息,采用稀疏表示算法提取融合图像中的关键特征。最后为了达到更好的特征回归效果,采用集成学习算法对提取到的稀疏特征进行回归,得到立体图像质量分数,与单个回归器相比,集成学习可以提升2%的模型回归性能。
第二,论文提出了一种基于稀疏的双目融合卷积神经网络的立体图像质量评价算法。网络模拟了双目视觉信息从视网膜到视觉皮质的复杂的融合处理与质量感知过程。通过网络中左右视图的四次融合模拟双目视觉信息在人脑中长期复杂的融合过程;通过网络中的多卷积层与多支路模拟视觉信息在人脑中分层并行的处理过程;通过网络最后的全连接层模拟人脑对经融合处理后的双目视觉信息的质量感知过程。此外,为了解决卷积神经网络计算量大、存储需求高的问题,采用结构化稀疏学习(Structural Sparsity Learning, SSL)的方法对网络中的每一个卷积层进行结构化稀疏约束,去除网络中的冗余权重,加快网络运行速度,提升网络评价性能,SSL可以在提升网络评价性能的同时,在LIVEI数据库上实现2.0倍的速度提升,在LIVEⅡ数据库上实现2.3倍的速度提升。
为了验证上述质量评价算法的性能好坏,论文在公开的LIVE3DPhaseⅠ、LIVE3DPhaseⅡ、WaterlooIVC3DPhaseⅠ和WaterlooIVC3DPhaseⅡ数据库上进行了实验,实验结果表明论文所提两种算法都能够很好地模拟人眼视觉特性,在对称和非对称失真立体图像上的评价效果都很优秀。
第一,论文提出了一种基于自适应的融合图像与集成学习的立体图像评价算法。首先考虑到增益控制和增益增强等人眼视觉机制,模拟双目视觉信息在视觉通路中的融合过程,将立体图像左右视图融合成融合图像,该融合图像考虑了左右视图线性与非线性的融合情况,适用于对称与非对称失真立体图像的融合,是一种自适应的融合图像模型。此外,考虑到视觉显著机制,采用显著图优化所得融合图像,提升质量评价效果。为了去除融合图像中的冗余信息,采用稀疏表示算法提取融合图像中的关键特征。最后为了达到更好的特征回归效果,采用集成学习算法对提取到的稀疏特征进行回归,得到立体图像质量分数,与单个回归器相比,集成学习可以提升2%的模型回归性能。
第二,论文提出了一种基于稀疏的双目融合卷积神经网络的立体图像质量评价算法。网络模拟了双目视觉信息从视网膜到视觉皮质的复杂的融合处理与质量感知过程。通过网络中左右视图的四次融合模拟双目视觉信息在人脑中长期复杂的融合过程;通过网络中的多卷积层与多支路模拟视觉信息在人脑中分层并行的处理过程;通过网络最后的全连接层模拟人脑对经融合处理后的双目视觉信息的质量感知过程。此外,为了解决卷积神经网络计算量大、存储需求高的问题,采用结构化稀疏学习(Structural Sparsity Learning, SSL)的方法对网络中的每一个卷积层进行结构化稀疏约束,去除网络中的冗余权重,加快网络运行速度,提升网络评价性能,SSL可以在提升网络评价性能的同时,在LIVEI数据库上实现2.0倍的速度提升,在LIVEⅡ数据库上实现2.3倍的速度提升。
为了验证上述质量评价算法的性能好坏,论文在公开的LIVE3DPhaseⅠ、LIVE3DPhaseⅡ、WaterlooIVC3DPhaseⅠ和WaterlooIVC3DPhaseⅡ数据库上进行了实验,实验结果表明论文所提两种算法都能够很好地模拟人眼视觉特性,在对称和非对称失真立体图像上的评价效果都很优秀。