面向隔行及压缩视频的联合增强算法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:yjf11230301
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
早期隔行(交错)视频通常包含复杂的交错横纹和各类压缩伪影,严重影响了主观视觉体验。尽管近年来针对早期视频的高清重建技术取得了很大进展,但有关视频去隔行研究依旧匮乏。随着人们对视频内容不断增加的多元化需求,早期经典视频的增强重建受到了越来越多的关注和应用。针对上述问题,本文提出了一种基于多帧的隔行视频联合增强模型,实现低质量隔行视频的交错去除,压缩伪影去除,超分辨率等增强任务,同时还将所提算法进行改进并应用更为广泛的压缩视频增强任务上。本文的工作主要包括以下两点:(1)本文构建了一个基于多帧的早期隔行视频联合增强网络用于全面提升早期隔行视频画质。传统去隔行方法和基于深度网络的单帧方法大多只实现单独的交错伪影去除,无法很好的处理老视频中混杂一起的复杂不自然效应,恢复干净画面。针对上述问题,本文从现有的单帧模型出发,将多个交错帧分场进行垂直内插,同时提出了轻量的对齐融合模块,通过学习更具适应性的偏移利用可变型卷积以高效的进行时间对齐和聚合,从而减少压缩伪影等复杂假象对帧间运动的负面影响,以此使来自不同时间序列多个场的信息得以充分利用,进而有效去除老视频中的复杂混合不自然效应。所提方法在真实早期隔行视频以及合成数据集上获得了优异和视觉良好的主客观结果,验证了有效性。同时,所提方法还在权威基准库MSU Deinterlacer Benchmark的去交错任务上取得了第一的成绩。(2)本文将改进后的多帧增强算法应用在压缩视频增强任务。与早期隔行视频相比,互联网压缩视频的帧间关联性和帧内压缩块效应具有不同的规律和特点,根据这些特点,本文在原有模型基础上提出了改进的深度特征提取块和带有注意力机制的逐步融合模块以更充分的利用帧间时序相关性,从而重建出高质量视频。最后,在多个测试序列上取得了良好的性能和明显的主观提升,验证了该算法的有效性。
其他文献
为了降低深度学习对标注样本数量的要求,小样本学习被提出并成为了近年来研究的热点。其中基于度量学习的方法首先将样本映射到嵌入空间中,然后使用距离度量实现分类。已有的度量学习方法通常仅将样本独立地进行特征映射,忽略了对任务整体地观察,导致样本在嵌入空间中的分布缺乏判别性;此外现有方法计算原型作为类表达特征时,仅简单求支持集特征均值,由于样本匮乏,原型计算容易受到噪声的干扰,从而对类别的代表性较差。围绕
学位
近些年来,我国机动车保有量及道路交通量猛增,使交通管理变得异常复杂,给相关交管部门带来了极大的压力,这对智能交通系统技术的发展提出了更大的挑战。对于交通视频中车辆异常事件的检测,车型识别和视频异常检测算法作为其中的关键技术,是智能交通系统的重要组成部分,也一直是计算机视觉领域的研究热点。车辆型号种类众多,某些车型外观差异小,且在实际交通场景下拍摄的图像中的车辆呈现多视角和多尺度的特点,这些因素都造
学位
近年来,随着汽车保有量的持续增长,许多城市道路承载容量已达到饱和,交通出行安全问题、拥堵问题、环境污染问题等日益突出。在这种背景下,我国大力推崇公共交通的发展。随着车联网技术、通信技术、计算机辅助技术以及大数据、云计算、区块链等信息技术的快速发展,越来越多的城市开始建设智能公交系统,智能公交的建设有利于解决上述问题,且符合智慧城市以及绿色发展的理念。另外,随着智能公交建设的规模越来越大,需要部署大
学位
随着软硬件技术的进步,三维模型被广泛地应用于生活的方方面面。由于近些年三维扫描和三维建模技术的提升,使得三维模型的获取变得更加简单,三维模型的数量处理也日益频繁。面对越来越庞大的模型库,快速准确地检索用户需要的模型成为了亟需解决的问题。框架作为三维模型的一种表现形式,在简化表达的基础上可以最大程度保留三维模型的几何形状信息,是检索三维模型的优秀特征。本文以三维模型框架为研究基础,调研了模型框架提取
学位
股市是上市公司筹措资金和股民投资理财的重要途径。影响股票价格的因素众多,股市波动存在不稳定的特点。尤其是在市场情绪作用下,股市波动具有明显的情绪化倾向,波动更加不稳定。本文根据直接或间接反映市场情绪的数据,从市场情绪的不稳定性和临界性出发,对股市趋势拐点进行研究,具体研究内容如下:(1)股市的情绪化倾向是股票市场具有高度不确定性的主要原因,直接利用历史数据的股票趋势预测方法,难以适应市场情绪的多变
学位
车辆型号的识别在智能交通领域有着广泛的应用前景,其中识别任务主要使用监控系统的车辆图像。日间车辆图像的识别准确率较高,但是夜间车辆图像饱受弱曝光、大量噪声、多重光源等的干扰,这些干扰增加了车型识别任务的难度,因此针对夜间车辆的暗光增强研究在智慧城市中具有重大意义。在增强过程中,不同的增强方法会产生不同的噪声、欠曝光、过度曝光和模糊等现象。针对这些现象,本文基于卷积神经网络(convolutiona
学位
人体运动数据被广泛应用在影视制作、医疗康复、体育训练和虚拟现实等领域之中。为了满足用户在不同场景下的需求,出现了多种运动采集设备,形成了多种模态的人体运动数据,多模态人体运动数据的融合可以用于运动数据去噪和运动合成等研究。然而,现有的多模态人体运动同步数据集的数据量和动作种类有限,为支撑更具通用性的研究,设计并采集一套公开的多模态人体运动数据集是亟待解决的问题。因此,本文基于现有的运动采集设备设计
学位
2021年,元宇宙的概念火遍全球。虚拟化身是用户在数字化场景中使用的形象,是元宇宙与现实世界的接口。在元宇宙背景下,用户对在虚拟环境中构建自己第二分身——虚拟化身的需求将会增加,并且用户更倾向于自定义虚拟化身。自定义虚拟化身是指用户根据自身喜好在虚拟场景中设计并使用的形象,其特点是只有模型没有运动数据。所以在实时驱动这种自定义虚拟化身时一般是需要实时的运动重定向技术生成运动数据。然而,研究发现,一
学位
在当今学术合作中,人们对不同领域、不同学科的学术合作的兴趣与日俱增,但人们仍然对学术大数据中跨学科、跨领域的动态协同合作机制知之甚少。以往的研究要么主要集中在学术网络拓扑上,而忽略了学术网络中的属性,要么主要研究学术网络中节点的属性,而忽略了学术网络中拓扑关系。为了进一步理解学术大数据中的主题和结构变化模式进而探究其中的协同合作关系,我们首先总结归纳了动态学术社交网络关系的分析以及图可视化方法,然
学位
高光谱图像因其丰富的光谱信息而获得广泛的关注,但由于传感器硬件设备的局限性,使得高光谱图像的空间分辨率较低,这在很大程度上限制了高光谱图像的实际应用场景。为了解决这个问题,一种主流的做法是将低空间分辨率的高光谱图像与高空间分辨率的多光谱图像进行融合。高光谱图像作为一种典型的三维结构数据,具有光谱和空间两种重要属性,能否充分利用这些属性的特征成为融合算法非常关键的一步,为此,本文开展了如下工作:(1
学位