基于卷积神经网络的无参考立体图像质量评价方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:drink_xo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着多媒体技术的发展,立体图像受到越来越多的关注,而立体图像在采集、压缩、传输、显示等过程中均会产生降质问题,立体图像的质量会直接影响人们的观看体验,因此,亟需一种有效的评价方法对立体图像质量进行评估,好的评估方法还可以刻画与之相关的各种图像处理技术的优劣,并据此加以改进。
  深度学习,尤其是卷积神经网络在最近几年得到了快速发展,在图像分类和物体检测等领域中都得到了很好的应用。卷积神经网络模拟人脑认知系统,通过对海量数据深度挖掘,提取深层特征信息,以自主学习的方式对目标进行求解,从而有效解决相关问题。因此,论文提出使用卷积神经网络,构建一类无参考立体图像质量评估算法,主要展开了如下两方面的工作。
  第一,论文提出了一种基于融合图像的无参考立体图像质量评价方法。为了更好地模拟人脑处理立体图像的过程,论文提出先将左右视图融合,然后对融合图像进行重叠切块后作为迁移学习网络的输入进行训练;迁移学习网络模型较传统卷积神经网络收敛快,而且具有更好的初始权重;最后利用显著特性对各图像小块的输出进行加权以更好地模拟人眼的视觉显著特性。
  第二,论文提出了一种端到端的双通道深度卷积神经网络,该网络通过局部到全局回归进行无参考立体图像质量评价。在当前大多数基于深度学习的立体图像质量评价方法中,一般使用MOS或DMOS作为标签来调整网络参数,但该方法存在一定的局限性,尤其对于非对称失真的立体图像。为了解决该问题,首先,论文提出使用特征相似性指标分别为左视图和右视图提供伪标签,以便更好地训练左、右通道,称为局部回归;然后,论文使用DMOS值来微调局部训练的模型参数,即全局回归;具体而言,论文将左右视图的高层次特征通过连接层结合起来,然后利用挤压激励模块来模拟双目竞争特性,利用两个卷积运算来模拟人眼视觉系统中的双目融合特性;最后,通过三个全连接层输出图像的质量分数。
  论文在公开的LIVE3Dphase-I、LIVE3Dphase-II数据库上进行测试,结果表明论文所提方法在对称和非对称立体图像数据库上较其它方法均取得了较好的结果,能够与人类的主观感知保持良好的一致性。
其他文献
近年来,不断提高的交通技术改变了人们出行方式,然而频繁发生的交通事故不仅严重危害了公众的生命而且往往造成较大的经济损失。据分析,多数交通事故是由驾驶员疲劳驾驶或分心驾驶导致对车辆操控能力下降造成的。为了降低人为导致的交通事故率,在驾驶员处于疲劳或分心状态时,对驾驶员的状态和行为进行检测并给予相应警告,能有效提高驾驶员的安全意识从而规范驾驶行为。基于此,本论文旨在提出高效准确的驾驶员行为识别算法来实
空间通信处理平台上存在大量的数字信号处理器如FPGA、DSP等。太空辐射粒子轰击到这些处理器后可能会使处理模块的存储数据发生改变,导致处理故障,其中最常见的故障就是单粒子效应。现代空间通信平台包含完整的发射和接收流程,其中接收处理复杂度远高于发射处理,而接收流程中复杂度最大的模块之一就是信道译码器。卷积编码作为一种纠错码是无线通信中经常使用的信道编码方式之一,接收端通常采用维特比(Viterbi)
学位
末制导雷达是导弹末端制导的跟踪雷达,而相控阵体制的末制导雷达区别于以往常规体制末制导雷达,是采用相控阵体制而建成的一种末端制导雷达。相控阵末制导雷达相较于常规体制的机械扫描末制导雷达有很多机械扫描雷达不具备的优点如:天线波束快速扫描能力、天线波形的捷变能力,空间功率合成能力、雷达天线共形能力、多波束形成能力、空域滤波与空间定向能力等。而空域滤波、波形捷变、多波束形成等能力具有很强的抗干扰能力,因此
目标检测作为一项重要的计算机视觉任务,用于对图像所包含的物体进行分类和定位。近年来,深度学习技术的快速发展使得目标检测迎来了新的契机,产生了许多经典算法。一般来说,从是否产生候选框的角度出发,可以将目标检测算法划分为两个分支:实时性良好的单阶段检测算法以及准确率相对出色的基于区域提议的算法。多尺度的目标检测一直都是这两种算法优化的基本挑战,尤其是对于小目标的检测。  本文针对特征金字塔网络(Fea
学位
随着基于位置服务需求的增长,室内定位成为国内外学者研究的重点领域。研究发现采用多传感器信息融合方法可以提高定位准确度。针对室内定位的发展趋势以及惯性和视觉定位的各自优缺点,从不同融合结构角度出发,本论文主要提出了以下三种融合定位算法:  第一种算法是利用极限学习机融合惯性和视觉信息进行室内定位。在基于单层极限学习机的视觉定位方法中,引入图像模糊判断解决采集的图像模糊时视觉定位算法误差大的问题。同时
在当今的信息化时代,随着人类对高质量图像和视频的主观需求越来越强烈,图像和视频处理技术越来越广泛地应用在各个领域。图像复原技术是指在现有硬件条件下,从软件层面对退化图像和视频进行处理,使其尽可能地复原出目标场景的细节信息以提升图像和视频质量。近年来,深度学习由于具有强大的自学能力,可以端到端地学习不同质量空间的特征映射,为图像复原领域带来了全新的发展理念。  在图像复原任务方面,现有的深度卷积神经
学位
目标检测与角度估计技术是数字图像处理研究的热门之一,伴随着深度学习框架的逐渐成熟,目标检测与角度估计技术在学术界掀起了一股新的热潮。此类技术被广泛应用于诸多场景中,然而在应对不同场景需求时,目标检测与角度估计技术经常遇到信息观测维度的问题:在某些有限的信息观测维度下观测,目标之间或目标与背景之间差异较小,进而导致分辨效果较差。因此为提升目标检测与角度估计效果,需要结合场景特点,在场景内寻找最有效的
学位
傅里叶变换红外光谱(Fourier transform infrared spectroscopy,FTIR)显微成像是一种同时涵盖精细光谱信息和空间信息的微区分析技术,具有上百个光谱波段的探测能力,光谱分辨率可达到λ/Δλ=100个数量级的光谱立体图像,最近一些文献中也称FTIR显微成像为FTIR高光谱显微成像。依据化学计量学定性剖析光谱信息时关注光谱维度,是因为FTIR显微成像数据具有丰富的特
水声通信技术作为智慧海洋工程中的一项重要技术,经历了近半个世纪的发展。针对水声通信网络层技术的研究层出不穷,大大提升了水声通信系统的可靠性和有效性。随着水声通信技术的发展,水下节点间无线组网通信受到了广泛关注,使水声传感器网络(Underwater acoustic sensor network,UASN)的工程化成为可能。在UASN中,端到端可靠传输一直是该领域备受关注的研究热点之一。论文以国家
无线通信网络正处于一个机遇与挑战并存的深度变革期。为了满足呈指数级增长的用户业务需求,无线通信网络的布设结构正逐渐向密集化和不规则化演进。与此同时,为了提高日益紧缺的可用频谱资源的使用效率,无线通信网络中的多址接入技术由正交模式向非正交模式转变。面对标新立异的通信技术,亟需充分挖掘网络参数与网络性能之间的内在联系,探究网络性能随网络参数的变化规律,并以此为理论依据进一步指导优化网络设计。然而,在形