基于卷积神经网络的视频超分辨率算法研究

来源 :深圳大学 | 被引量 : 0次 | 上传用户:shi123abc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代科技的不断进步,越来越多的高分辨率显示设备进入到日常生活中,人们对高分辨率视频资源的需求也不断增加,但是现实生活中高分辨率视频资源却是相对匮乏的。视频超分辨率算法旨在将低分辨率视频转换为高分辨率视频,能够以较低的成本来解决高分辨率视频资源缺乏的问题,所以对视频超分辨率算法的研究显得非常有意义。但目前相关算法仍然存在一些不足之处,例如,目前的算法通常通过光流估计来对视频帧间进行显式运动补偿作为预处理步骤,该类算法通常对于光流估计和运动补偿的准确性依赖较高,并且这样的预处理模块会带来较大的参数量。为了解决这些不足之处,我们进行了相关研究并从是否进行显式运动补偿两方面提出了相应的改进方法,主要的工作内容及成果包含以下几个方面:(1)目前基于光流估计的显式运动补偿视频超分辨率算法主要通过低分辨率光流来提供视频帧间亚像素级的位置对应关系,这样的做法容易导致运动补偿的准确性不够高,进而使得重建出来的视频序列中出现伪像。我们提出一种基于高分辨率光流的显式运动补偿方法,即从低分辨率视频序列中预测得到高分辨率光流,在获得更加精细光流的同时对光流进行超分辨率处理以提高光流估计和运动补偿的准确性。经过实验验证我们所提出的基于高分辨率光流估计的显式运动补偿视频超分辨率算法较同类算法在客观评价指标和主观视觉效果上都有较大的提升。(2)针对显式运动补偿过程严重依赖于光流估计和运动补偿准确性的不足之处,我们提出了一种基于3D卷积神经网络的非显式运动补偿视频超分辨率算法。首先通过多尺度时空特征融合网络来对视频帧间的时空特征进行学习以避免显式运动补偿,其中在特征融合过程中我们将现有的亚像素卷积层扩展成3D亚像素卷积层以用于对不同尺度之间的时空特征进行融合,然后通过重建网络对视频序列中的目标帧进行超分辨率处理。(3)为了使得重建生成的高分辨率视频序列具有更加丰富的图像细节信息,我们在所提出的非显式运动补偿视频超分辨率算法中设计了一种细节提升网络用于对重建出来的高分辨率视频序列进一步处理。该网络与多尺度时空特征融合网络和重建网络构成了端到端的视频超分辨率框架。经过实验证明所提出的基于3D卷积神经网络的非显式运动补偿视频超分辨率算法较同类算法在客观评价指标和主观视觉效果上都有较大的提升。(4)为了在保留输入低分辨率视频序列中低频信息的同时高效地恢复出高频细节,我们在所提出的基于高分辨率光流估计的显式运动补偿视频超分辨率算法和基于3D卷积神经网络的非显式运动补偿视频超分辨率算法中都使用了全局残差学习和局部残差学习策略。经过实验验证,这样的设置使得我们的算法性能更好且更加高效。
其他文献
近年来,无人机和机器人等无人智能设备迎来了快速发展,其与接收站实时共享机载传感器数据成为工业界的迫切需求。然而,由于奈奎斯特(Nyquist)采样率的限制和通信信道是极其有限。因此,亟需一种新的技术突破经典的奈奎斯特采样理论,而压缩采样正符合这种技术。压缩采样技术将采样和压缩过程合二为一,极大的减少了采集信号的存储空间。接下来,利用深度学习的方法对压缩采样数据进行数据恢复。由于深度学习卷积网络模型
动漫产业作为我国文化产业的重要板块,是国家近年来大力扶持发展的重点产业。我国动画水平曾立足于世界巅峰,却从20世纪80年代后逐渐落寞,崛起之路困难重重。2015年随着“IP时代”的到来,动漫产业乘着IP的风呈现爆发式增长,一度成为资本市场的宠儿,拓展动漫IP价值的需求不断涌现。与此同时,在互联网浪潮的推动下,跨界融合逐渐成为全球各产业主流的发展趋势,为动漫IP带来了前所未有的发展机遇。然而,由于我
人类行为识别是计算机视觉中一个重要的主题,行为识别既包括单人执行一系列动作以完成某项任务,也包括许多人分散在一个大的空间里,共同努力完成一个共同的任务,即群体行为。群体行为识别的一个典型的应用场景是体育视频理解,体育战术自动分析等关键技术,具有重要的应用前景和商业价值。但由于背景杂乱、个体之间的关系复杂等原因,使得面向体育视频的行为识别成为一个及其重要而又非常具有挑战性的问题。本文对体育运动排球视
随着第五代移动通信(The Fifth Generation,5G)时代的到来,人们对传输速率和通信可靠性有了更高的要求,对未来无线通信生活的多样性有了更多的期待。然而在“万物互联”的时代,无线通信业务需求呈现出的巨大增长趋势导致现有的技术不足以支撑海量的通信设备,因此在发展现有通信技术的同时部署新的系统对提高通信性能有重要意义。与此同时,为缓和移动通信过程中的能量消耗与通信设备的有限电量存储之间
随着无线通信技术的快速发展,移动通信数据流量呈现出爆炸式增长趋势,这不仅给传统的通信网络体系带来了巨大的负担,也给未来绿色通信网络的设计、运行以及维持带来了严峻的挑战。同时随着未来通信网络中更多的无线移动终端设备连接到互联网中,“万物互联”的通信演进模式已成为必然。然而其也带来了一些非常严峻的挑战,比如,如何在保证绿色通信的情况下为用户提供可靠的通信服务,以及如何增强通信网络的智能化水平。为解决以
低分辨率场景下的目标分类与识别问题对社会公共安全和国防等意义重大。随着图像信息获取技术的巨大进步,人们对获取的图像信息的使用需求也越来越大,特别是在一些特定应用中,对图像中精细目标信息的需求愈加强烈。然而该类精细目标的图像分辨率相对较低,能够获取的有用信息量较少,在借助高分辨率模板图像进行目标相似性度量时,待识别低分辨率目标图像与高分辨率模板图像之间的维度空间不匹配问题,使得低分辨率场景下的目标识
图像修复作为数字图像处理中的一个重要分支,广泛应用在文物保护、刑侦、生物医疗、航空航天等领域。传统的图像修复方法存在图像块误匹配、块区域修复视觉效果较差等问题,深度学习作为一种新兴的工具,在提取特征上相比传统方法能够获得更深层、更加具有特定性的特征表示,已经在计算机视觉和图像处理领域中都取得了良好的效果。基于深度学习的生成对抗网络(GAN,Generative Adversarial Networ
人类有一种对映入眼帘的场景有快速选择性观察的视觉注意机制,它能够帮助人类在短时间内获取最大的信息量。这种视觉注意机制在计算机视觉领域中被称为视觉显著性,计算机视觉领域的研究者们通过提取数字图像中的显著性特征来模仿人眼的视觉显著性。计算机视觉显著性的研究启发于生物学,由传统手工提取特征的计算模型开启显著性预测的篇章,向自适应的学习数据样本中显著性特征的深度网络模型发展。其中,基于深度网络的显著性预测
模板匹配是图形处理研究中的主要内容之一,在机器视觉、医学图像等诸多领域中有着重要的应用。当图像中的目标出现旋转、光照不均匀、视角变化和部分遮挡的情况时,现有的模板匹配方法很难匹配出准确的结果,因而寻找效果更佳的模板匹配方法是一个有意义的研究问题。在现有的多种基于特征点的模板匹配方法中,使用线性规划的模板匹配方法在目标出现旋转和光照不均匀的情况下模板匹配效果较好,但它在目标出现局部形变和部分遮挡时模
面对摩尔定律失效的挑战,具有性能高、尺寸小、功耗低和成本低等优点的Si基光子技术是有望解决Si集成电路瓶颈的路径之一。其中Si基Ge与Si基Ga As由于可调控直接带隙和高迁移率等优势成为Si基光子技术最有前途的材料选择。但是由于较大晶格失配和热失配,Si基上高质量的Ge外延和Ga As外延仍充满了挑战性,较高的缺陷密度制约了Si基上异质外延结构及器件的性能。本论文主要以解决Si基Ge和Si基Ga