基于卷积神经网络的无参考立体图像质量评价方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:lydiajiao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
二十一世纪以来,立体成像技术深入影响着人们的生活。但是每一种立体图像处理技术都不可避免的导致图像降质,使人们在观看图像时产生心理和生理上的不舒适感,因此,如何根据立体图像的特点,设计更加符合人类视觉感知的立体图像质量评价模型,已成为立体成像研究领域的关键课题之一。近年来,以卷积神经网络为代表的深度学习在很多领域都得到了广泛应用。因此,论文以卷积神经网络为基础,构建一类有效的无参考立体图像质量评价算法。论文主要工作如下:第一,论文提出了一种基于空洞卷积的多尺度立体图像质量评价算法。为了更好的模拟图像在人脑中的处理过程,论文模拟了双目信息在视觉通路中的融合过程,将左右视图自适应地融合成一幅融合图像,此融合图像充分考虑到左右视图对称失真和非对称性失真的情况。此外,考虑到多尺度分析与人类视觉的生理特性密切相关,论文中在卷积神经网络中加入基于空洞卷积的多尺度模块,既模拟人脑对图像提取多尺度特征,又利用空洞卷积增加感受野而不增加参数的特性,对多尺度模块的参数量进行优化。最后将网络的输出作为图像质量的客观预测值。第二,论文提出了一种基于双重视觉注意机制的无参考立体图像质量评价算法。该算法设计了一个以融合图像为输入的卷积神经网络,考虑到视觉注意机制,算法中设计了一个包含空间注意机制和通道注意机制的模块,此模块可以从通道和特征两个维度对输入图像进行加权指导,更有效地加强融合图像中重要信息的比重,降低了非重要信息的比重。此外,依据图像显著性理论,算法中设计了一种图像块的筛选策略,即利用显著性算法计算图像块的显著值,并设置自适应显著阈值,滤除低于阈值的图像块,将剩下的图像块组成新的数据集,对网络进行微调,解决目前图像切块处理时存在的数据冗余问题。为了验证上述立体图像质量客观评价方法的可靠性与有效性,在公开的LIVE 3D Phase I、LIVE 3D Phase II、Waterloo IVC 3D Phase I和Waterloo IVC 3D Phase II数据库上进行了大量的相关实验,结果表明,论文中提出的两种算法能很好地处理对称和非对称失真类型的立体图像,并与人类视觉系统的主观感知保持良好的一致性。
其他文献
近年来,图像处理技术的发展和应用推动了大型变电站场景下数据采集、监测向智能化及自动化方向发展。真实复杂环境下,变电站场景中的仪表图像采集过程可能存在的形变、反光、光照变化和小物体遮挡等情况,致使基于这些图像得到的仪表读数准确性、泛化性较差。现有的智能化指针式仪表读数算法均无法从真实复杂的环境中准确地获取仪表读数。为了解决真实复杂环境中指针式仪表准确读数问题,本文从图像反光去除与指针式仪表读数两个方
学位
随着深度学习技术的不断发展,卷积神经网络在去模糊领域取得了显著的成果,但是去模糊领域仍然存在许多挑战。有效的去模糊网络设计,合适的损失函数选取,以及如何复原出更丰富的图像细节成为去模糊领域亟需解决的问题。论文针对单幅图像盲去模糊算法进行研究,重点探索基于深度卷积神经网络的端到端去模糊方法,并基于卷积神经网络,提出两种新的去模糊网络模型,主要工作如下:针对去模糊网络通常对特征图进行下采样,导致在学习
学位
目标检测是计算机视觉中最重要且最基本的任务,其目的是识别出给定图像中物体的类别及位置。随着神经网络的大规模应用,图像目标检测技术已经取得了长足的进步。通用的目标检测算法框架一般由以下几个部分组成:特征提取模块、特征融合模块和分类/回归模块。特征融合模块因为具有较高的设计灵活性,并且对算法性能有较大的影响,所以一直是检测算法中的研究热点之一。如何设计高效的特征融合模块也因此成为目标检测算法中需要重点
学位
针对传统的网络性能相似性评价方法从数据整体进行分析,存在无法描述局部特征且忽略了各个变量间影响与联系等问题,文中提出一种基于网络性能评价的多元时序相似度算法。通过异常检测和聚类的方法提取时序的关键信息,在此基础上,采用MDTW算法对模式表示后的多元时序进行相似性度量,结合被动测量的方式采集相关数据进行实验分析。实验结果表明,基于网络性能评价的多元时序相似度算法相较于传统DTW算法,准确率提高约14
期刊
辐射源个体识别能够根据接收信号,识别信号的发射源个体,从而简化无线通信网络用户身份认证过程,提高网络安全性,实现低时延高可靠通信。在军事领域,辐射源个体识别能提高电子侦察、电子对抗的性能。开展辐射源个体识别技术研究具有重要的理论和实用价值。首先,针对同型号的不同辐射源个体间差异微小、难以识别问题,本文设计了基于短时傅立叶变换(Short-time Fourier Transform,STFT)的预
学位
在雾霾等天气条件下采集到的图像存在颜色失真、细节模糊、对比度低等问题,严重影响和限制户外计算机视觉系统发挥作用。因此,研究图像去雾具有重要的理论意义和应用价值。论文对基于物理模型的方法和基于深度学习的方法进行研究,并提出两种去雾新思路,主要工作如下:针对雾天图像对比度低、颜色失真等问题,论文提出一种基于中通道补偿的单幅图像去雾方法。为使去雾图像保持更多细节,将图像分解为纹理层和结构层,对含有大部分
学位
近年来,随着人类对海洋资源探索的不断深入,水声传感器网络(UASN)逐渐成为了研究热点。为了保障水下节点收集到的数据能够有效的传递给目的节点,设计一个高效、可靠的路由协议是十分必要的。然而,考虑到UASN中网络拓扑不确定性、节点能量有限性以及水声信道环境的复杂性,水声传感器网络路由过程中存在端到端延时长、路径不稳定以及路由空洞等问题。本文针对UASN中的网络寿命短以及路由空洞等问题,分别从设计静态
学位
当前,立体图像技术不断发展,各种立体图像或视频应用丰富着我们的日常生活。然而立体图像在采集、传输或处理等过程中,可能会受到各种失真的影响,导致图像质量下降,影响用户体验。因此,对立体图像进行质量评估具有重要的现实意义。目前,基于卷积神经网络的立体图像质量评价方法具有出色的评估性能和更强的竞争力。由于立体图像双视图构成的独特性,双目感知过程成为评估图像质量的重要因素。因此,本文利用卷积神经网络挖掘双
学位
随着视频数据的爆炸式增长,在保证主要信息的前提下简化信息提取过程成为了研究热点。人类的视觉注意机制不仅能够提取图像、视频等视觉媒介的重要数据信息,而且可为基于深度学习的计算机视觉问题提供解释性,故利用计算机模拟视觉注意机制的视频显著性检测算法被大量提出,但是缺少足够大且密集标注的视频数据的问题限制了视频显著性检测任务的发展。因此,本文提出了基于数据增强和图卷积网络的视频显著性检测算法,解决视频显著
学位
在面对复杂的自然场景时,人类视觉系统具有快速搜索并定位感兴趣目标的能力。通过将视觉注意力机制引入到视觉信息处理任务中,可以优化计算资源,使视觉信息的处理更符合人眼视觉特征。显著性目标检测旨在自动识别不同场景中的显著性区域,已广泛地应用于图像分割、重定向、检索、编码及分类等任务。近年来,使用彩色图进行显著性目标检测成为较普遍的方式。而实际上,人类视觉系统具有感知场景中深度信息的能力,因此深度信息可以
学位