基于编码先验的定码率压缩视频质量修复算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:cqcqtc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
得益于5G通信技术的进步和互联网行业的蓬勃发展,视频因其内容多元性和传播便利性发展成为了当今使用最广泛的信息媒介。然而,在一些带宽受限的实际应用场景中,为了平衡视频的画面质量和传输码率,视频压缩技术会不可避免地给视频引入编码伪影,降低观看者的视觉体验。因此,针对视频质量增强的算法研究具有重要的现实意义。近年来,许多基于深度学习的多帧视频增强工作在去压缩伪影任务上取得了显著成果。然而,现有的视频质量增强算法存在以下两点不足:其一,大多数工作将去压缩伪影问题简单地视作视频盲去噪问题,而没有充分利用压缩码流中的编码先验信息以辅助修复;其二,目前的学术工作仅针对定量化参数(QP)编码视频进行修复,而缺乏对工业界广泛存在的定码率编码视频的研究。为了解决上述问题,本文提出了一种基于编码先验的定码率压缩视频质量修复模型(CPQE)。该模型主要包括多帧对齐融合模块和当前帧增强重建模块。在多帧对齐融合部分,本文提出了一个由量化参数信息引导的时空联合可变形卷积融合模块(QPDF)。该模块采用基于可变形卷积的隐式对齐方法,使用多尺度级联金字塔结构由粗到细地实现了多帧运动偏移量的时空联合预测,在提高计算效率的同时增强了模型对大尺度运动的补偿能力。在此基础上,本文通过对视频量化过程进行详尽分析,指出了定码率编码模式下量化参数所具有的时空波动特性,并将编码端的量化参数信息以“量化噪声水平图”概念引入到运动偏移预测子网络中,作为像素级的参考帧编码质量表征,实现了帧间信息的质量自适应性融合。本文模型的当前帧增强及帧重建部分则旨在解决两个问题:其一,基于块的编码模式所带来的块效应失真问题;其二,帧重建网络层数过深所带来的高频信息损失问题。针对问题一,本文对块效应伪影产生的根本原因进行分析,并基于传统环内去块滤波器原理提出了一个由编码块划分信息引导的空间注意力增强模块(CSA)。其中,编码端的块划分深度信息作为空间注意力权重掩膜,指导网络聚焦于编码块边界处并对其进行针对性修复,在空间维度对当前帧质量进行增强;针对问题二,本文提出了一个基于特征注意力的密集残差帧重建结构(FADR)。一方面,密集连接的残差结构使得深层网络中信息的流通更为高效,另一方面,特征注意力的运用加强了深浅层特征之间的复用和聚合,进一步提高了帧重建模块的表征能力。本文采用HEVC视频编码标准软件HM16.0制作定码率编码视频数据集。该定码率数据集包括108个训练视频和18个测试视频,涵盖包括1080p、720p在内的10种分辨率视频。实验结果表明,本文所提出的CPQE模型在定码率压缩视频数据集上取得了相较于其他工作更优的修复效果。经测试,CPQE模型在中码率数据集上的平均PSNR增益达到0.8d B,在低码率数据集上的平均PSNR增益达到0.76d B,远高于现有的主流修复算法。其中,码率为1Mbit的1080p视频经模型处理后PSNR平均提升0.75d B;码率为0.5Mbit的480p视频平均PSNR增益则达到0.79d B。此外,本模型能够有效去除编码视频中出现的振铃效应、块效应等失真伪影,显著提高人眼主观视觉体验。上述实验结果表明了本文所提出的视频增强模型的有效性,显示了编码先验信息在去压缩伪影任务中的应用潜力。
其他文献
<正>在敦煌壁画中我们经常会见到五弦琵琶,但真正的五弦琵琶是什么样子的呢?我们一起去看看吧!日本正仓院,位于日本奈良县的东大寺内,是用来保管寺内珍贵物品的仓库,建于公元8世纪中期的奈良时代。在我国唐开元二十一年(公元733年),大唐僧人鉴真第6次远渡重洋来到日本,他所带去的中国的佛经、医药、书法等众多珍贵物品都存放在正仓院内。在正仓院中,还有一件极其珍贵的乐器,那就是唐代螺钿(dian)紫檀五弦琵
期刊
水文监测是及时获取河流湖泊水情的有效途径,其中关键的一环是水位观测。水位观测是指对河流湖泊等的水位进行实地测定,它不仅能够直观地反映河流水情,还有利于及时发布水情预警。近年来,基于计算机视觉技术的图像测量方式开始应用于水位观测任务中。使用传统图像处理技术的水尺检测和水位识别方法需要手工设计特征,这严重影响了检测和识别的性能。而深度学习的方法通过卷积神经网络来自动提取特征信息,可显著提升检测和识别的
学位
在如今的大数据时代,现实世界中的很多应用都可以建模为图,如社会网络分析、交通网络分析等,并且图的规模通常达上亿或更高级别。大规模图需要在分布式图处理系统中处理和挖掘,如GraphLab、Giraph等。图划分是分布式图计算的基础工作,其作用是将大规模图划分到集群中的不同机器上。分布式图计算的性能主要由运行最慢的机器和不同机器间的通信成本决定。因此图划分的质量对分布式图计算的性能有很大的影响,其目标
学位
随着信息技术的发展,各种大数据应用层出不穷,如超高清视频、智慧城市、智慧医疗等。这些应用的数据量往往很庞大,计算任务的场景多种多样,有基于完全可分的大数据的应用,如图像处理应用,可以将图像看作大规模任意可分的像素点;也有基于粗粒度可分的大数据的应用,如矩阵运算(可以将矩阵看作行向量或纵向量上的运算)和音频视频处理(可以将音频和视频看作是由多帧数据和多段连续画面构成)等。可见,大数据往往任意可分或粗
学位
癌症是一种由于病变细胞失去正常的调控机制从而不停自我繁殖的疾病,诱发癌症的病因并未被医学研究人员从根本上发现,所以癌症很难有效地预防。并且因为癌症是由于体内细胞异常导致的,与常见的大部分疾病不同,无法使用常规的医疗手段治疗,而目前常用于治疗癌症的放疗和化疗手段会杀死人体内正常的细胞,具有非常强烈的副作用,所以对癌症的预防与治疗是当代医学需要攻克的一大难题。传统划分癌症的方法是根据细胞病变的组织器官
学位
随着社会经济的快速发展和安防需求的不断增长,多相机视频监控系统被越来越多地应用到交通管理、社会安防等众多领域。多相机监控系统在实现场景多视角和全方位监控的同时,也面临着海量监控视频分散孤立的问题。因此,如何通过多相机协同工作,对监控视频中的视觉信息进行提取和关联,实现综合分析是当前多相机监控系统需要解决的关键问题之一。针对其中涉及的多相机协同目标分析问题,本文重点研究了多相机协同多目标跟踪算法,分
学位
在中国歌剧发展史上,革命题材歌剧一直都是浓墨重彩的一页。从《白毛女》到《小二黑结婚》,从《江姐》到《金沙江畔》,一代又一代文艺创作者“承百代之流,会当今之变”,创作出一部又一部满足大众审美旨趣、传播当代中国价值观念的作品。本文以此为背景,分析歌剧《金沙江畔》的叙事策略,试图以小见大,讨论革命题材歌剧在叙事维度上的创作范式。
期刊
光束法平差(Bundle Adjustment)是一种利用给定的三维点以及相机位姿的初始估计,通过最小化重投影误差的方法来实现相机参数和三维点坐标优化的算法。在实际应用中图片的特征点数量繁多导致光束法平差算法中的计算量巨大,极大的限制了算法的执行速度,并且导致内部数据缓存所需存储空间庞大,造成了算法执行速度缓慢,数据的读取和存储缓慢,实时性差的问题。为了解决光束法平差算法中因计算量巨大而导致的算法
学位
随着无人驾驶系统和移动机器人等领域的发展,商用深度传感器(如激光雷达,To F相机等)得到了更加广泛的应用。在智能车辆或机器人上通常配备了大量的传感器,主要是深度传感器和可见光相机。这些传感器可以为定位、测绘、障碍检测等不同的任务提供信息。其中深度传感器可以提供周围场景的三维空间信息,而可见光相机可以提供环境的色彩纹理信息,将二者信息结合有助于对周围场景进行更准确和更具体的观测分析。对于许多联合使
学位
随着信息时代的到来和大数据技术的不断发展,海量数据涌入互联网。海量数据资源中蕴含着大量的可用信息,在科研和商业领域都具有巨大的应用价值。与此同时,数据的信息安全问题也逐渐地显现出来。数据非法泄露、数据盗用和数据丢失等安全问题频频发生,给个人、企业和国家的信息安全都造成很严重的影响。为了解决当前存在的信息安全问题,许多科研人员投身于数据溯源技术的研究。数据溯源技术是对非法泄露数据的追根溯源,找到泄露
学位