基于循环神经网络和可形变卷积的视频超分方法

来源 :华东师范大学 | 被引量 : 0次 | 上传用户:christain008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频作为在日常生活中使用最多的媒体技术,其超分辨率重建技术将会有越来越多的用武之地。近年来各国都在大力发展单张图像超分辨率重建技术,在其基础上,视频中每帧的相邻帧往往会携带大量冗余信息,因此多帧中的信息能帮助各帧获得更多的边缘、细节和高频信息,从而重建出更加精确的高分辨率图像视频。由于网络带宽的限制,高清视频的实时传输是非常难做到的,因此目前视频的传输都会先经过压缩降质,导致画质、分辨率的退化。另一方面,早期由于设备的限制,录制的影像分辨率较低。视频超分辨率技术在视频的画质恢复中起到了非常重要的作用。随着深度学习的快速发展,其在单帧图像超分辨率技术中起到了巨大的作用。但由于视频中的物体往往是带有运动的,连续帧之间存在相对的偏移,因此直接将多帧超分后叠加会有伪影的现象出现。因此,相较于单图超分,视频超分主要有四个步骤:提取特征、多帧对齐、多帧融合以及重建。首先提取出视频中的特征,之后为了防止由运动产生的伪影,需要将提取出来的特征进行对齐。对于每一帧,要将对齐后的特征进行融合并进行视频重建。目前视频超分辨率主要存在一下三个问题:对于较大幅度的运动缺少强有力的对齐模块,对于对齐失败的场景缺少解决方案;在融合时无法充分挖掘与利用相邻帧之间的时序信息;基于残差块的特征提取模块的特征提取能力和重建模块的分辨率重建能力较弱。为解决上述问题,本论文提出了基于双网络结构的视频超分辨率算法。主要具有以下三点创新点:(1)基于可形变卷积的局部对齐恢复网络对于运动幅度较大的运动视频,提出了一种基于可形变卷积、金字塔结构以及前景背景掩码生成的局部网络,大大增强了视频帧的对齐效果,并通过相应掩码消除对齐失败而产生的运动伪影。(2)基于循环神经网络的全局信息融合网络全局信息融合网络将长段视频信息通过双向循环神经网路进行信息聚合,使用光流网络进行对齐,最后将局部对齐恢复网络与其融合成一套视频超分的解决方案,大幅领先现有的视频超分网络。(3)基于注意力机制的特征提取和特征恢复重建模块为了增强时序特征提取能力,提出了一种基于时序通道注意力机制的特征提取模块;为了增强时空特征恢复能力,提出了一种基于时空注意力机制的特征恢复重建模块。将这两个模块融入视频超分框架中进一步提高网络的效果。同时提出一种针对本视频超分框架的训练策略。
其他文献
创新型人力资本越来越成为支撑经济高质量发展的决定性因素。由于个别城市数据缺乏,基于2000—201 7年长三角地区三省一市24个主要城市市域面板数据,运用OLS线性回归实证研究了创新型人力资本与全要素生产率之间的相关关系,进而说明了创新型人力资本与经济高质量发展之间的关系。研究结果表明:通过创新型人力资本水平提升可以显著提升全要素生产率,并通过提高全要素生产率水平促进经济的高质量发展。
泰国汉语高考就作为汉语特长进行能力等级测试评估,试题涵盖汉语基本词汇、成语、语法等内容。在各题型中都有成语出现,成语不仅是词汇教学的难点,还是外国学生最难掌握的一部分,但目前泰国的汉语教学对成语研究成果较少。本文通过文献分析法收集泰国汉语高考中的成语试题分析,并采用对比分析法和统计分析法,将汉语高考的成语试题与相关的大纲进行考察分析,指出泰国汉语高考及成语试题存在的问题并提出建议。
机器视觉系统在训练过程中往往依赖大量的图像训练数据,以人工标注的方式进行图像训练数据集的标注需要耗费大量人力,并且由于标注人员对训练数据理解存在差异,标注质量往往参差不齐,而训练集的质量直接影响模型训练效果。文中重点研究了图像分割算法在图像自动标注领域的应用,并结合微服务架构思想设计实现了一种基于图像分割算法的图像半自动标注系统,该系统可以对图像进行半自动的像素级图像分割。经对比实验可知,系统在图
书名:基于利益相关者的森林生态旅游发展研究作者:关海玲著ISBN:9787514161878出版社:经济科学出版社出版时间:2015年11月在社会大力推崇低碳生活的背景下,体育项目作为一种新兴的旅游活动逐渐受到人民大众的喜爱,也越来越受到旅游开发者的重视。森林公园作为一个具备避暑、疗养、娱乐和科研等多种功能的天然系统,探索将体育项目作为旅游文化资源融入其中,对促进森林景区旅游业的发展和森林公
期刊
乡村旅游产业在促进农民就业增收和发展农村经济等方面发挥着重要作用。然而,由于生态环境受损、利益分配不均等原因,在乡村旅游开发的过程中容易产生一些矛盾冲突。文章重点分析了乡村旅游开发过程中利益相关者的博弈行为特征和影响因素,并构建出"地方政府-旅游企业"、"旅游企业-当地居民"等主体间的演化博弈模型。研究发现:在乡村旅游开发过程中,政府的策略选择受监管成本和非保护性开发造成损失的综合影响,通过加强政
学位
随着教育改革的进一步发展,中学生核心素养的发展引起了各级教育部门的关注。针对化学学科的教学,明确提出了加强“科学探究与创新意识”的要求,强调学生要具备发现问题以及勇于提出问题的能力。实验是化学学科教学中培养质疑意识和创新精神至关重要的一部分,所以在偏僻乡村中学的化学教学过程中,克服一些困难,注重培育学生实验素养及创新能力成为更应重视的首要任务,有助于未来农民素质的提升,促进全面脱贫后乡村振兴事业与
随着现代科技的进步,软硬件技术不断发展,用户可以直接在网页上与三维图形进行交互。当前传统园区的二维平面技术表现形式单一、交互功能匮乏,已不适用于智慧园区的发展模式。WebGL技术的出现,让开发者可以直接使用JavaScript语言在HTML5中绘制三维图形,使得智慧园区的三维可视化得以实现,从而以更美观高效的方式将智慧园区的信息呈现出来,并且满足用户与园区之间便捷的交互操作。基于WebGL的三维可