基于空时域联合感知的视频质量评价研究

来源 :杭州电子科技大学 | 被引量 : 0次 | 上传用户:zcsq1987
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,互联网多媒体共享平台的发展与移动智能设备的普及,使得数字视频成为人们获取信息的重要渠道。与此同时,用户对高质量视频需求日益迫切。作为体验衡量标准的视频质量评价研究也成为学术界与工业界共同关注的问题。在真实自媒体服务场景中研究视频质量评价是具有极大挑战性的,其视觉特征间存在多维异构性与高阶交互关系。人类作为视频质量的感知者,研究人眼视觉系统(Human Vision System,HVS)特性并以此建模能够有效地提升相关的视频处理技术。因此,本文以视觉空时域联合感知特性作为切入点,通过模拟人类视觉感知中两者的交互过程,展开对真实自媒体场景下无参考视频质量评价方法的研究。其主要工作包括以下三个方面:1.提出基于空时域联合视频质量评价模型。具体而言,本文引入了基于多尺度感知权重的特征提取模块来表征视频空域感知过程中的集成感知。针对视频的长依赖时域信息,引入了一种时序特征建模结构,即更深的门控循环单元(Deeper Gate Recurrent Unit,DGRU),以完全模仿视觉时序感知中的前馈和反馈递进过程。在此基础上,为加强多层次特征的帧间交互,尽可能地模仿空时域感知的非线性结构,进一步构造双流更深层次门控循环单元(Dual DGRU,DDGRU)结构来加深前馈与反馈的建模深度。最后,提出基于帧率的局部自适应平滑模块,用于模拟短依赖中的视觉时间记忆效应。在四个常用自媒体视频数据库上的实验结果表明了本算法的预测准确性与运行高效性,丰富消融实验的结果验证了各模块的有效性。2.提出了基于高阶深层时空信息的质量评价模型。该部分为第一部分工作的深化。本模型将感知迭代机制以及高阶空域表征引入视频质量评价,采用二阶协方差聚合(Second Covariance Pooling,SCP)来进行高阶空域信息的提取,引入快速迭代GRU(Fast Iteration GRU,FI-GRU)结构进行深层时域信息建模。实验结果表明,其性能表现优于目前主流算法,量化实验与消融实验表明本算法提出的深层高阶信息能有效提升视频质量评价的准确性。3.提出了基于膨胀因果卷积架构的特征记忆处理模型。本文首次引入叠层一维因果卷积进行视频时域建模。此外,将其改造为膨胀因果卷积模块,用于减少全局时域建模所需的叠层数与重复计算。而后通过长跳跃门控模块,构建门控卷积进行层特征的权重分配,加入跳层连接进行多时间频率整合。通过以上模块组合,该模型在训练上能够实现高度并行化,有效提升运行速度的同时取得优异的性能表现。此外,本文提出了基于能效比的多参数选择策略,实现深度学习算法在指定复杂度情况下的快速最优参数选择。
其他文献
多孔介质燃烧技术作为当下最新的燃烧技术,具有燃烧稳定、温度分布均匀及污染物排放低等优势,具有强大的发展潜力和应用前景。随着生活品质提高,民用燃气灶具节能减排的要求不断提高,对其燃烧性能提出了更高标准。论文在团队前期研究工作基础上,利用自行搭建的实验装置系统,对新型民用多孔介质燃气灶超低污染物排放的燃烧特性进行研究,具体工作内容如下:超低排放下多孔介质燃气灶燃烧过程以及表面着火稳定性研究。分析当量比
学位
随着计算机技术的高速发展,越来越多的数据通过互联网进行传输,但是这也导致各种形式的信息泄露事件频发,信息安全面临着前所未有的严峻形势。对数据进行加密是保证信息安全的有效手段,各国为了实现信息安全领域的自主可控,均提出了相应的密码算法标准。我国在密码学领域也取得了较大的发展,其中由我国自主研究并提出的祖冲之(ZUC)流密码算法已被3GPP组织采纳为4G无线通信的候选加密算法。这是我国的商用密码算法首
学位
光收发模块是光通信网络的核心器件,其系统简洁、配置灵活、支持热插拔,是目前云计算和数据中心广泛采用的光通信接入方式。然而,当前常见的SFP+、QSFP+等光收发模块主要是针对于云计算、数据中心等室内恒温恒湿工作条件设计的,在野外以及车载、机载等恶劣环境下会表现出稳定性差、误码率高、故障率高等缺陷,在很大程度上限制了光模块的进一步推广与应用。本文针对上述问题,提出了高密度、小型化、带数字监控诊断并具
学位
前视声呐图像配准是海底目标检测、目标跟踪、路径规划等许多水下应用的关键步骤,但是由于前视声呐图像的信噪比低以及两个不同视点的前视声呐图像之间呈现出复杂的非线性变换关系,传统的图像配准方法难以获得较好的配准精度。为了更好地应对前视声呐图像配准中的挑战,提高前视声呐图像配准精度,本文开展了前视声呐图像深度学习配准方法的研究,主要工作如下:1.针对两个不同视点的前视声呐图像之间呈现出复杂的非线性变换关系
学位
随着第五代移动通信技术的快速发展,大规模多输入多输出(Multiple Input Multiple Output,MIMO)技术得到了广泛应用。在大规模MIMO系统中,一般采用数百根甚至上千根天线,能够同时为数十个终端提供服务。不过,发挥大规模MIMO优势的先决条件是精确的信道状态信息(Channel State Information,CSI)的获取。由于大规模MIMO系统中天线数量众多,与传
学位
双站合成孔径雷达(Bistatic Synthetic Aperture Radar,BiSAR)以其特有的收发平台分置模式而命名,其具有安全性高、配置灵活和信息获取能力强等方面的优势,有着较为广阔的应用前景。其中,随着无人机在军民领域中应用的日益普遍,BiSAR结合无人机等机动平台的一体化研究已经成为当前的热点话题。然而,无人机等机动平台常面临着近距的高分辨宽测绘带成像场景,其涉及的斜视角复杂空
学位
NaHA可分为酸性物质(Ka1Ka2>Kw)和碱性物质(Ka1Ka2<Kw)。NaHA酸性物质溶液,其pH范围为:(pKa1+pKa2)/2<pH<7.00。NaHA碱性物质溶液,其pH范围为:7.00<pH<(pKa1+pKa2)/2。根据NaHA溶液性质,合理舍弃次要组分,分别得到了酸性物质或碱性物质溶液pH的近似公式。本文推导的近似公式具有如下特点:物理意义清楚,适用浓度范围广。例如,对于极
期刊
随着体育产业的发展和相关政策的颁布,女性用户在体育消费市场占比增大,女性体育消费成为热点话题。本文通过系统性文献综述法,对国内外相关的文献梳理,分析女性体育消费的特征与问题、主要动机和影响因素。研究表明:(1)国外女性体育消费市场相较于国内更成熟;(2)国内女性体育消费动机主要为消遣,国外女性体育消费活动作为家庭性活动;(3)女性体育消费影响因素包括消费观念、经济水平等主观因素和体育政策、健身设施
期刊
成像分辨率是用来衡量成像系统性能的重要标准。在传统的光学成像中,人们常使用瑞利判据来描述成像分辨率。根据瑞利判据,当两个非相干点光源的波函数有较大重叠时,我们将很难区分它们。这种现象被称为瑞利诅咒。传统的瑞利判据虽然简单直观,但是在应用上有其局限性。这是因为瑞利判据研究的是在像平面上直接探测光强分布,但我们可以对像平面的光场进行其他的测量。我们可以通过优化对像平面光场的量子测量来提高成像分辨率。最
学位
目的分析间质性肺疾病(ILD)合并新型冠状病毒感染(简称“新冠感染”)患者的中医症状、证候分布特点,并探究其病因病机。方法采用横断面调查研究,选取69例2022年12月—2023年1月在我院门诊和病房诊断为新冠感染的ILD患者,收集门诊首诊或入院第一天的中医四诊信息、一般情况及西医临床资料。结果 69例患者首发症状以肺卫症状多见,同时兼有脾系。69例患者共涉及23种症状。与轻、中型患者相比,重型、
期刊