基于双目融合卷积神经网络的立体图像质量评价方法研究

来源 :天津大学 | 被引量 : 0次 | 上传用户:manacewj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
立体图像能够给人们带来沉浸式的观看体验,但在其采集、传输、显示等过程中不可避免的会引入噪声,从而产生不同程度的图像降质,影响观看者的视觉感受。因此,如何构建合理且高效的方法对所获取的立体图像质量进行评判,以提高视觉感受,显得尤为重要。同时,好的立体图像质量评价方法还能够为立体成像各种技术的优化提供指导。由于立体图像质量主观评价方法的实时性与可操作性受限,因此,建立一种立体图像质量的客观评价模型成为该领域的研究热点。论文主要基于卷积神经网络完成评价算法的搭建,并通过对图像或特征进行融合来模拟人眼对信息的处理机制,所完成的三个工作如下所述。首先,论文提出基于融合图像与多尺度特征融合网络的立体图像质量评价方法。先对左视点与右视点进行融合,然后将单幅融合图像作为网络模型的输入。模型采用不同大小的卷积核完成多尺度特征的提取与融合,并采用数据批量标准化与投影权值标准化提升网络性能。其次,为了更好地模拟人眼视觉系统中的双目融合,论文搭建信息互换融合网络来完成立体图像质量评价,将左、右视点分别作为网络两支路的输入。模型设计了多个信息互换单元,通过互换两个支路的部分特征,来实现双目信息融合。在网络的末尾采用互换模块,进一步融合两支路的特征。另外,模型引入去相关的数据批量标准化实现精度的提升。最后,论文提出基于多层次融合网络的立体图像质量评价方法,网络的输入为左、右视点。在网络的多个层级中,对两个支路的特征进行通道连接来模拟双目融合,并引入压缩激励模块对特征进行重标定,从而模拟双目竞争。在将特征映射到质量分数空间时,除了逐级提取到的局部特征,网络采用全局特征作为信息补偿,进一步提升评价方法的准确性。论文采用LIVE3D phase-I、LIVE3D phase-II数据库验证评价方法的性能。结果表明,论文所提方法取得了较好的结果,与人眼主观感受具有较高的一致性。
其他文献
随着大数据时代的到来,图像作为一种主流的信息传播的媒介,在各种场景,各行各业中都得到了广泛的应用。高分辨率的图像在诸如医学影像,视频监控领域,卫星遥感,移动端直播等领域有着极高的需求,但是由于目前主流的摄像头或光学传感器的物理分辨率有限,通过软件算法提升图像的分辨率可以很大程度上满足上述场景的需求。单图像超分辨率(Single Image Super-Resolution,SISR)是一个常见的计
学位
遗产保护语境下,工业遗产的保护与再利用受到日益重视,关注使用者的行为习惯和使用需求、自下而上展开对更新后的工业遗产所在空间环境的使用后评价分析逐渐成为工业遗产研究领域不可或缺的研究方向与发展趋势。本文从后评价的视角出发,以工业遗产型文化创意园区为对象,在对使用后评价相关理论进行研究的基础上,遵循传统使用后评价研究的流程逻辑进行评价方法的更新补充,结合大数据作为数据辅助与技术支撑,辅助运用大数据相关
学位
水声传感器网络(UASNs)中的物理层和MAC层分别实现水下节点之间的数据互联,合理分配水声信道的功能,是水声传感器网络在水下环境探测、资源勘探以及灾害预警等领域应用的基础,具有重要的研究价值。由于水下环境的特殊性,水声传感器网络的物理层和MAC层存在强干扰、高噪声、长时延以及能量严重受限的特点,水声传感器网络的可靠性面临着巨大挑战。在此背景下,本文对UASNs中的物理层以及MAC层的可靠性展开研
学位
有效市场假说是传统金融学的核心观点,该假说基于理性人假设、随机交易假设和有效套利假设,在现代金融研究中处于重要地位。然而随着传统理论无法解释的市场异象出现,行为金融学由此产生。行为金融学否认以上三个假设认为投资者情绪等非理性因素是影响资产定价的重要因素,目前对投资者情绪影响资产定价的相关研究主要集中于西方发达国家的资本市场,如美国、欧洲等,对新兴市场尤其是中国的研究相对较少。近年来,中国期货市场日
学位
挥发性有机物污染物(Volatile organic compounds,VOCs)所造成的环境污染是目前大气环境的突出问题。控制VOCs污染物有热焚烧、催化氧化、吸附和吸收等多种治理技术,其中催化氧化已成为可靠和有发展前景的VOCs减排技术之一。实现无外界能源输入的常温或室温条件下催化氧化VOCs,对于VOCs治理领域来说具有里程碑式的意义。本文选择具有稳定结构的苯作为探针分子,构建负载型硼碳氮
学位
近些年来,随着科技的不断发展,目标跟踪在人们生活中得到了广泛的应用。与此同时,无人机凭借着灵活、可控的特点,在很多领域逐渐替代固定摄像头进行目标跟踪。然而,由于拍摄环境的复杂化,人们得到的视频序列会出现大量的遮挡、相机抖动等容易造成目标丢失的场景。虽然现有的目标跟踪算法尝试通过各种方法提升对复杂场景的鲁棒性,但是依然具有很大的提升空间。本文从多无人机的视角出发,利用多无人机信息多、可通信的特点,对
学位
作为“21世纪海上丝绸之路”重要海区和“两洋一海”关键海区,南海对于我国海洋强国战略至关重要。开展南海海洋环境中长期预报研究,可以为国民经济及国防事业提供强有力的技术支撑。作为重要的海洋要素,海面高度异常(SSHA)对于研究海洋温盐剖面、海洋涡旋等海洋动力现象具有重要意义。然而,由于气象驱动场的限制,传统的数值预报方法存在着预报时效过短、预报过程复杂等诸多问题;统计预报存在着预报结果较差等问题;现
学位
传感器是信息化和物联网的重要组成部分,其广泛应用于工业生产、环境保护、资源调查、生物医学等领域。近年来,基于无线无源原理的传感器因其功耗低、集成度高、成本低廉等优势得到了研究人员以及工业界的广泛关注。本文主要进行无线无源传感器的相关理论分析以及仿真建模,研究不同的传感器结构,设计出无线无源温度以及压力传感器,并分别对其进行了验证。本文主要研究内容如下:(1)针对温度的无线测试需求,设计了一种基于微
学位
随着深度学习的发展,利用卷积神经网络对目标进行实时检测的研究越来越热门。目标检测技术在自动驾驶、无人机、智能监控系统、医学手术定位以及军事目标检测等嵌入式系统中发挥着重要作用,但现有算法的实时性与检测精度还难以同时满足上述应用的需求。因此本文选择先进的不基于先验框(anchor-free)的实时目标检测算法作为研究重点。本文研究发现现有的不基于先验框的检测算法在同一特征图上预测所有任务,虽然深层特
学位
液晶显示器应用于生活中方方面面,例如家电、移动设备、视频监控、视频会议、系统生产调度、传媒等诸多领域。显示器的动态范围对图像细节的表达、图像对比度的提升至关重要,因此开发高质量液晶显示器的关键之一就是提高其动态范围。鉴于传统液晶显示器采用的全局调光技术功耗大、存在漏光现象、对比度受限等问题,为此,人们提出了区域调光技术,以降低设备功耗,提高对比度,改善显示效果。现有的区域调光算法只适应于特定图像亮
学位