基于深度学习的无参考立体视频质量评价方法的研究与实现

来源 :天津大学 | 被引量 : 0次 | 上传用户:xuelun2003
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着立体技术的不断发展,立体视频相关应用和服务系统开始走近人们的生活,扮演着越来越重要的角色,在这些立体视频系统中,控制好视频内容的感知质量是保证用户体验的关键。然而,在立体视频系统的各处理阶段,由于带宽、设备和技术的限制,立体视频可能遭受不同程度的损坏,从而使得立体视频系统的性能受到极大影响。而无参考立体视频质量评价(Stereoscopic video quality assessment,SVQA)算法可以实现对立体视频视觉感知质量的量化,可帮助系统对立体视频质量进行监测、控制和改善,成为立体视频处理领域重要的研究课题。传统的无参考立体视频质量评价方法大多数具有相似的框架,其一般采用分治法对该问题进行简化,包括手工特征提取和分类器设计。但是在现实场景中,我们在评价视频质量时必须要考虑视频内容信息、深度感知信息和时域信息等复杂视觉因素的非直观交互作用,因此我们很难设计出一组特征适用于各种失真类型和失真程度。为解决传统方法的弊端,我们将卷积神经网络引入到立体视频质量评价领域,建立了一个基于3D卷积神经网络的无参考立体视频质量评价框架。首先,我们依据人类立体视觉特性和质量评价相关特性完成对立体视频的预处理和数据增强;接着设计了一种3D卷积神经网络结构,其以局部短视频立方体作为输入来同时提取局部时空信息,并采用考虑全局时间线索的质量分数融合策略来获得最终的视频质量预测分数。此外,我们利用3D卷积神经网络作为特征提取器,通过使用支持向量回归替代原网络中的全连接层完成从特征向质量分数的映射,可进一步提高预测质量分数和主观评价分数的相关性。实验证明,本文方法所取得的效果显著地优于目前最先进的方法。此外,我们所提出的方法不依赖于复杂的预处理过程,且网络结构简单,在使用GPU加速的情况下,计算效率上更有优势,实用性更强。
其他文献
随着船舶技术的快速发展,船舶正向着自动化和无人化的方向前进,与此同时导致船舶发生火灾的风险因素也越来越多。而机舱作为船舶动力的源泉,是整个船舶十分重要的组成部分。
阿摩司·奥兹是以色列最有国际影响力的作家之一。在其小说创作阶段的中期,奥兹主要实现了两个方面的变化:一是写作技法上,将自己从开始创作以来就有的叙事风格上的尝试继续
航空发动机作为“两机”专项的核心技术,是关系国防和民航安全的重大工程问题,状态监测技术作为其中不可或缺的一环具有重要的作用。通过监测航空发动机的工作状态,做到及时
随着互联网技术的迅猛发展及智能手机的普及,近年来网络谣言的危害性较之以前更大。国家为了减少网络谣言的危害,在2015年将利用网络散播谣言并造成严重危害的行为列入《刑法
随着人类社会的发展及工业、制造业等的不断壮大,人们的生活水平已有显著提高,伴随而来的污染问题也日益凸显。其中重金属污染一直是环境、食品、土壤、水质等方面研究者关注
由于具有抗去磁能力强、弱磁扩速能力好、转矩功率密度高等优点,内置式永磁同步电机成为电动汽车主要驱动电机类型。然而,由于制造误差、安装误差、轴承磨损等原因,内置式永
吊索是缆索承重体系桥梁的关键构件。在疲劳和腐蚀等作用下,吊索可能发生突然破断,危及桥梁结构的安全,造成重大的经济损失。当前对于吊索破断后桥梁结构安全性的研究尚有欠缺,且主要以数值模拟为主,鲜有研究将模型试验与数值模拟相结合。本文以自锚式悬索桥为研究对象,通过理论分析、数值模拟与模型试验等方法,对吊索发生损伤、破断后剩余构件的受力性能及动力响应过程进行分析;采用能量法对断索后桥梁结构的承载能力富余程
随着现代工农业的飞速发展,由于资源的大量消耗,严重的环境污染问题接踵而来,在各种污染物中,空气和水中的有机污染物引起了人们广泛的关注。因此开发有效、经济的技术处理这
高级氧化法(Advanced Oxidation Process,AOPs)在环境修复领域表现出优异的潜能,通过产生具有强氧化性的活性自由基,将环境中的有机污染物降解为无害的矿化盐、二氧化碳和水。
在过去的几十年里,复杂网络的动力学行为引起了许多物理学、经济学、生物学、数学、工程学等不同领域研究者的兴趣。特别是,作为复杂网络中重要的动力学行为,无源性和同步已