360°全景视频/图像的客观质量评估方法的研究

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:xhb74
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着虚拟现实技术的不断发展,360°全景视频/图像作为沉浸式媒体的主要表现形式,在日常生活中受到越来越多的青睐。而视频在压缩、传输等处理过程中容易产生画面失真而导致视频质量下降,影响观看者的体验。因此,进行有效的视频质量评估对视频编码器性能评测、视频传输的质量监测等领域都有重要的指导意义。传统的视频质量评估方法(Video Quality Assessment,VQA)是针对平面2D视频所提出的,而全景视频具有超高分辨率和球形观看空间等特点,使得传统VQA无法有效地评估全景视频质量。同时,现有针对全景视频提出的VQA方法只引入了空间映射拉伸对失真估计的影响,而缺乏对失真时域变化的考虑。基于此,本文将重点研究如何对360°全景视频进行时空失真建模,进而达到对其视频客观质量准确评估的目的。另外,随着近年来深度学习在计算机视觉领域的广泛应用,本文也对卷积神经网络用于全景图像失真特征提取进行了深入分析,并重点研究如何采用深度学习的方法进行无参考全景图像客观质量评估。本文首先提出了一种融合了全景视频的空域失真和时域失真特性的全参考的客观质量评估模型,并且该模型对现有全景视频质量评估方案有很好的兼容和扩展性。具体来说,首先,我们根据人眼视觉关注机制构建了一个时空管道作为视频质量评估的基本单元,通过递归滤波器计算出时空管道的平均失真。然后,在该时空管道上引入失真梯度来表征时域失真对视频质量的影响。最终,通过对时空管道的两种失真进行空域和时域上的池化计算出视频序列全局质量得分。另外,我们研究了如何对现有的三种常见全景视频质量评估方法进行时域失真的扩展。其次,本文提出了一种基于深度学习的无参考全景图像质量评估的神经网络结构模型。该模型主要由三部分组成:1)基于卷积神经网络的失真学习器,用于预测客观失真图;2)基于卷积神经网络的视觉敏感度学习器,通过提取失真的特征,并引入全景图像映射拉伸的先验信息,从而生成失真的权重图;3)图像质量分数回归器,通过将失真图和权重图融合并出最终质量得分。我们将提出的两个模型分别在全景视频的公开数据集VR-VQA48、VQA-ODV和全景图像数据集CVIQ、OIQA上与现有的客观质量评估方法进行了对比试验。实验结果表明,提出的两个方法在全景视频/图像质量评估的性能上都有显著的提升,更符合人眼的主观质量评价的结果。
其他文献
目的 :探讨人唾液外泌体(saliva-derived exosomes,S-Exos)对大鼠皮肤损伤修复的影响。方法 :收集健康成年人唾液,分离并鉴定唾液外泌体。将18只SD大鼠随机分为对照组、唾液处理组和外泌体处理组。通过皮肤打孔法制备大鼠皮肤全层缺损模型,各组在建模后48 h时于创面边缘分4点进行皮下注射给药100μL。在建模后第0、4、8、12、14天时观察各组大鼠创面愈合情况,计算伤口愈
期刊
秘密共享是密码学领域中一种重要的技术,提供了一种与众不同的方法来保护不同参与者之间的秘密。自从秘密共享技术被提出之后,许多著名的学者对此进行了深入的研究,并取得了很多有效的成果。秘密共享技术不仅解决了关键密钥的保存问题,同时也避免了权力的过于集中。目前秘密共享技术在许多方面已经得到了广泛的应用。本文首先对现有秘密共享技术的相关工作进行了一个总结,在此基础上以基于计数的秘密共享计数、可验证秘密共享为
学位
软件可追踪性是指在软件开发过程中创建和维护制品(例如需求和代码)间的关联关系(也被称作追踪链),并利用这些关联关系对软件项目进行一系列分析的能力。软件可追踪性的主要目的是当软件制品随版本演进而发生变更时,可以通过追踪制品间的关联关系来确定软件制品功能变化的范围和影响,如支持变更影响分析、依赖影响分析、系统验证以及安全认证等活动。在实际的软件开发中,人们最为关注的一类软件可追踪性是需求到代码的可追踪
学位
当今时代是一个视频数据爆炸的时代,互联网上每天都会产生大量且冗余的视频数据。视频概要——即将视频转化为若干包含其关键信息的视频帧,不仅节省了原视频所占据的存储空间,并且也方便用户了解原视频的内容,是数据检索和机器学习领域中的一个重要的研究方向。现有的解决视频概要的典型算法如行列式点过程(Determinantal Point Process,DPP)能够很好地刻画视频帧的代表性和多样性。但是现有的
学位
写作教学是中学语文教学中最重要的环节,写作水平的高低、作文成绩的好坏,不但直接影响学生的语文成绩,更直接彰显了学生的语文素养。笔者尝试以阅读为依托,借助思维导图进行项目化写作教学,从而促进学生的深度学习,逐步落实并提升语文的学科核心素养。
期刊
随着全球海洋运输业的日益发展,船舶自动识别系统的信息阻塞等问题愈发突出,碰撞预警漏报概率大幅上升,严重影响航行安全,在保留原有系统体系功能的基础上,增加专用报文和甚高频数据交换功能的甚高频数据交换系统应运而生。概述了甚高频数据交换系统产生的背景和系统组成,介绍了系统在国内外的发展现状,阐述了相关国际标准的制定情况并给出对策。
期刊
随着定位应用越来越广泛,定位技术的研究在近年来得到更多的关注。现有的研究工作大多集中在对已有方法提出一定程度的改进,以此提高定位精度和准确率。首先,在室外条件下,全球定位系统的定位精度已经能够到达了1m以内,而且系统使用十分便捷,已经能够满足室外条件下绝大多数位置应用的需求。在室内环境下,许多应用需要低成本、低复杂度的方式实现室内定位,例如室内扫地机器人的定位,商场基于位置的购物推荐以及飞机场用户
学位
三维视频和自由视点电视(3DV/FTV)作为新一代数字视频技术,因其能够提供更广的观看自由度、沉浸式的视觉效果以及灵活的交互功能,而受到工业界和学术界的广泛关注。虚拟视点合成技术由于其能够减少3DV/FTV传输的视点图像数量,已成为三维视频(3-D)研究的核心部分。最常用的虚拟视点合成技术是使用纹理图像及其相关深度图的DIBR(Depth Image Based Rendering,基于深度图的渲
学位
随着科技的迅速发展,图片数据的规模已有着指数级增长的趋势,影响图像识别算法的数据的维度、复杂度及多样性等因素也今非昔比,所以利用特征提取算法从如此大规模的高维度数据中获取最有效的特征信息仍是近年来的研究热点。然而大多数的特征提取方法只关注数据的一阶局部结构信息,显然无法应对现实中高维且复杂的图像数据。近年来,高阶信息受到了学者们的关注,它能表达出数据更具判别性、更本质的结构,从而在特征提取时发掘高
学位
模指数运算被认为是公钥密码体制中最为昂贵的计算之一,被广泛应用于密钥生成、加密、解密过程中。为了使一些基本不具有计算能力的设备(如RFID)可以进行公钥加密,模指数运算通常被外包到云服务器,以减轻本地计算负担。然而,传统的云计算环境下的模指数运算安全外包方案,存在以下几个问题:(1)由于云服务器大多不可信,为保证安全性,用户需要在本地进行大量的运算,这会带来较大的计算负担;(2)大部分云服务器与设
学位