基于特征处理的视频超分辨率关键技术研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:juejue_wang11
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体技术的不断发展和进步,以视频监控、远程会议和高清电视为代表的视频应用在人们的生产生活中发挥着重要的作用。然而由于当前计算机和网络系统中传输带宽、存储空间、系统输入输出性能等因素的种种限制,很多视频系统普遍存在着分辨率较低和图像质量差的问题。为了提升视频帧的图像分辨率和整体质量,视频超分辨率技术受到越来越多研究者的关注。视频超分辨率旨在通过对低分辨率视频进行一系列技术处理,增加其像素密度并恢复其丢失的细节纹理,进而生成高质量的高分辨率视频。传统的视频超分辨率方法需要引入时空相邻帧作为当前待处理视频帧的参考信息,通过某种算法进行时空对齐,实现视频帧之间的信息匹配和转移,再进行视频超分辨率重建。但许多视频超分辨率方法存在着时空对齐不稳定、参考信息有限、重建效果过于模糊等问题。这些问题均制约着当前视频超分辨率技术的发展和应用。针对视频超分辨率研究中的以上难点,本文从一个新的角度来对视频超分辨率进行研究。结合特征处理技术和生成对抗网络技术,本文提出了一种模块化视频超分辨率方法。本文的主要研究内容如下:1.一种基于特征处理的视频帧信息匹配和转移的方法。这种方法可以使不同的视频帧能够在特征域内实现稳定的时空对齐,进而完成准确的特征信息匹配和转移。这种方法可用于混合分辨率视频架构——一种包含少量高分辨率视频帧和大量低分辨率视频帧的视频架构。在对混合分辨率视频进行超分辨率处理时,这种基于特征处理的方法可以充分利用高分辨率视频帧所包含的完整参考信息来“指导”低分辨率视频帧的超分辨率进程,明显提升视频超分辨率重建质量。2.一种基于生成对抗网络的分辨率增强和帧间约束优化的方法。这种方法用于视频超分辨率网络模型的训练阶段,包含生成网络和判别网络两部分。生成网络用于在相同的物理尺寸下利用高分辨率视频帧的特征信息来对低分辨率视频帧进行分辨率增强,生成超分辨率视频帧;判别网络则使用低分辨率视频帧的相邻真实高分辨率视频帧来对生成视频帧进行时空信息约束,加强生成视频帧与真实视频帧的时空关联度,进一步提升生成视频帧的重建质量。3.一种模块化的视频超分辨率架构。这种架构将视频超分辨率拆分成若干个子任务。对每个子任务而言,该架构都有相应的模块来完成这些子任务,最后将这些模块综合起来实现视频超分辨率。同时该模块化架构能够将单一图像超分辨率方法和视频超分辨率方法有机结合起来,并且具备高度的灵活性和可定制性。公共数据集上的实验结果表明,与其他已公开的超分辨率方法相比,本文所提出视频超分辨率方法在主观视觉感受和客观指标上都能够达到理想的视频超分辨率重建效果,有着优良的的视频超分辨率重建性能。
其他文献
随着云计算、大数据、区块链等技术的蓬勃发展,虚拟化技术也随之得到了广泛的应用,其中基于容器的虚拟化方案得到了更广泛的关注。Docker更是其中最热门的代表方案之一,但是Docker也面临许多安全性问题,由于直接使用了宿主机的内核与资源库,其隔离并不完善,诸多问题也因此发生。因此,增强Docker的隔离性迫在眉睫。本文专注于对Docker的隔离性问题进行了研究,主要研究内容包括以下三个部分。本文采用
野生动物监测系统作为野生动物保护的重要组成部分,对保护野生动物,维持生态系统的和谐稳定起着重要作用。我国已在多个省份的自然保护区大量布设红外相机构建野生动物监测系统。但是由于存在野生动物保护区通常没有通信网络以及红外相机易被误触发、数据回收难度较大等问题,野生动物监测系统无法及时获取监测设备拍摄的图像视频数据并且获取到的数据有大量无效信息,这就造成了监测系统运行人工成本高、实时性差等问题。本文设计
随着芯片的生产模式越来越依赖外包制造,其生产过程中的各个阶段都可能被植入硬件木马。硬件木马是芯片攻击中最有效的手段,引起了人们的广泛关注。硬件木马会导致芯片的物理场信息发生变化,因此本文针对芯片安全领域,分别研究了基于温度场效应的硬件木马实时监控技术和基于温度场特征的硬件木马精准修复技术,除此之外,还针对现场可编程门阵列(Field Programmable Gate Array,FPGA)的电压
水下主动电场成像是仿生弱电鱼建立电场探测周围环境的生物机制而诞生的一门新型水下成像技术。简易的电极传感器装置通过运动扫频的方式获取实验物体不同方向的频率转折点(FIP)信息,利用这些FIP能够实现对实验物体的轮廓成像。结构复杂的电极传感器阵列装置通过简单的运动扫描方式,测量扫描区域内不同位置的幅值变化信息,然后根据这些幅值变化信息同样能够对水下物体形状进行成像。本文对这两种水下主动电场成像方法进行
以人类动作分析为核心的视频分析技术是智能监控,图像/视频自动标注和智能人机交互等诸多领域中的重要技术,有着广泛的应用场景和研究价值。当前人类动作识别技术多集中在固定视角下的动作识别,然而,在现实应用中,摄像头在部署过程中会出现视角复杂多变的情况,在某些人与移动机器人交互的场景中,甚至可能出现相机不断移动的情况,这类型的问题在本文统一称之为自由视点动作识别问题。当前的工作大多只是在单一视角或者固定的
随着现代无线通信技术的迅猛发展,物联网已经渗透到人们生活中的方方面面。物联网中各个行业独立发展缺少交互,因此各设备及其提供的服务均具有较强的异构性,设备的识别控制、服务匹配以及消息传输方面都会遇到众多复杂的问题。解决上述问题的核心在于解决异构问题。本文对物联网中设备属性进行分析研究,提出了一种基于功能属性的设备描述机制,基于该设备描述机制,设计了异构物联网系统中设备服务的识别、注册、控制及匹配架构
近年来,随着车联网和无线技术的发展,车载信息娱乐应用的不断涌现,车联网中内容需求也正以惊人的速度增长。为了满足车联网中如此高的内容需求,边缘缓存技术得到了广泛的关注。通过在网络边缘,如基站和路侧单元上部署缓存资源,在边缘节点上缓存部分流行内容以提供内容下载服务,能够有效缓解核心网络压力,减少内容请求时延。然而,由于边缘节点缓存资源有限、内容请求分布不均匀以及车辆高速移动导致网络拓扑动态变化等问题,
图像融合是图像处理领域中的一个重要分支,可以将来自不同的传感器对于同一场景中的信息采集后得到的图像数据进行处理,保留各自数据中的有用信息并剔除掉冗余的信息,得到含有集成信息的高质量图像。图像融合在军用和民用领域都发挥着重要的作用。深度学习目前发展势头迅猛,在图像处理领域具有非常广泛的应用,但是在图像融合领域,深度学习方法对比传统方法并没有明显的优势,原因主要有两点:一、图像融合领域没有绝对意义上最
近年来,利用深度神经网络(Deep Neural Networks,DNNs)进行医学图像分割取得了显著的进展。然而,深度神经网络通常需要大量的数据和标注进行训练,对于医学图像,图像采集设备及患者隐私等问题导致数据与标注都代价高昂且难以获取。为解决此问题,本文提出了一种基于距离度量学习(Distance Metric Learning,DML)的小样本(单样本和少样本)医学图像通用分割框架。现有的
计算机断层成像(Computed Tomography,CT)是一种通过X射线扫描待成像物体并采集投影数据实现内部结构成像的技术。由于X射线对人体健康的危害大,近年来,学者们研究利用传统CT重建方法基于稀疏角度X光重建CT,进而降低X射线使用剂量,但是在两个角度的重建中无法生成可理解的断层图像。而基于深度学习的图像重建方法对X光在二维空间的变化提取能力有限,且不同角度的重建结果不一致。本文通过分析