基于自适应运动补偿的视频超分辨率方法研究

来源 :华南理工大学 | 被引量 : 0次 | 上传用户:chairy01
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着各种高分辨率和高刷新率显示设备的迅速普及,人们对于视频图像的质量要求也在不断提高,视频超分辨率是解决当前人们需求的有效方法。视频超分辨率可以分为空间和时间两个维度。空间超分辨率能够恢复出清晰的高分辨率视频帧,丰富图像细节。时间超分辨率能够通过合成中间帧来提高视频帧率,改善视频流畅度。目前,大多数视频超分辨率方法利用光流来进行视频帧间的运动补偿,并且只完成空间或时间超分辨率中的一个任务。然而,光流估计无法保证完全准确,且需引入额外的光流估计网络。只提高空间分辨率,人类视觉系统对视频的时间失真会变得更加敏感,可以更轻易地感知到视频中的运动抖动伪像。为此,本文针对更有效的运动补偿方式进行研究,并将其分别应用于视频的空间超分辨率和时空超分辨率,开展了以下两个工作:一、视频空间超分辨率是利用视频帧本身的空间信息以及相邻帧中包含的时序信息来恢复出高分辨率视频帧,通常会将相邻帧与待恢复的视频帧对齐,以便更高效地提取其中的时序信息。考虑到传统光流方法的局限性,本文提出了一种基于可变形卷积和非局部注意力机制的视频空间超分辨率方法。具体来说,该方法使用可变形卷积对相邻帧进行运动补偿,自适应地完成特征级别的采样。在生成可变形卷积采样参数时,结合了由空洞卷积组成的多层次特征融合模块,使其利用不同大小的感受野来更精确地捕获像素点间的运动关系。然后使用了非局部注意力机制来处理相邻帧中未能良好对齐的区域,降低其对结果的负面影响。二、视频时空超分辨率可以令视频获得更好的视觉观感,尽管可以通过空间超分辨率方法与时间超分辨率方法的结合使用来达成目标,但是会存在重复特征提取、参数量与计算量过大的问题,为此本文提出了一种轻量级的视频时空超分辨率方法。该方法首先利用了上一个工作中提出的自适应运动补偿方式,分别对两个连续视频帧进行前向和后向的运动补偿,融合后得到中间帧,并在此过程中加入循环一致性损失提高中间帧的合成精度。接着使用了基于帧间注意力机制和通道分离重组的时序信息融合模块,以较低的计算量高效地完成多帧之间互补的时序信息交换。本文在多个标准数据集上将所提出方法与当前主流方法进行比较,在客观评价指标以及视觉效果上都取得了良好的表现,证明了本文所提出方法的优越性,并且通过相应的消融实验进一步论证了所提出方法的有效性。
其他文献
出血控制仍然是一个重大的挑战,尤其是对于枪伤和锐利物造成的深层不可压缩创面出血。据统计出血死亡在伤害死亡中占比30-40%,其中33-56%发生在患者被送往医院之前,因此院前使用止血材料早期控制出血能够有效降低死亡率。然而传统的止血方法如纱布、止血带和按压止血对这些极端出血是无效的。另外,多孔沸石、高岭土、明胶海绵和水凝胶止血剂等不适用于这种伤口,且这些材料功能单一,不能在止血后进一步抑制创面感染
木质纤维素底物中的纤维素可通过纤维素酶酶解转化为可发酵糖,进而通过发酵生产纤维素乙醇。酶解成本偏高制约了纤维素乙醇的发展,实现纤维素酶的多酶协同增效是降低酶解成本的重要方法。针对β-葡萄糖苷酶等电点偏高和纤维二糖底物溶于水的特点,本文提出对β-葡萄糖苷酶进行亲木质素改性,即在其表面接枝阳离子基团,通过增强其与木质素间的静电作用力使其优先吸附在木质素上,构建β-葡萄糖苷酶/木质素非均相酶解纤维二糖体
一个理想的软件缺陷预测模型能发现软件中隐藏的各种缺陷,能够极大地帮助开发团队降低开发周期,减少维护开销,提高软件可靠性等等。在软件缺陷预测中,软件特征和分类算法的选择对于预测性能有重要影响。因此,研究者们就如何设计能反映软件质量的特征,以及提出相应算法来构建预测模型展开了研究。当前所使用的传统软件特征主要关注软件模块的代码规模,复杂度等属性,忽视了源代码中丰富的语法和语义信息。在传统特征上构建的预
随着国民经济的迅速提高,汽车已经作为一种日常的交通工具走进了千家万户,这种现象促成了国内汽车市场的繁荣,给各大汽车主机厂创造了更多的发展空间和机遇。同时随着汽车产品的品种不断增多,人们对汽车个性化需求也日益增强,这给各大汽车主机厂提出了更大的挑战。针对于不同消费者的需求,如何快速的响应市场,推出差异化的产品,并降低汽车开发成本和生产成本已成为各大车企共同关注的问题,因此对汽车开展提高开发效率和降低
混凝土作为当今应用最为广泛的建筑材料之一,极易在内部或外部因素作用下产生裂缝,而这些裂缝通常会使其力学性能发生退化,进而影响结构的完整性、安全性和耐久性。深入研究混凝土裂缝的起裂和演化规律,量化其对结构的影响,对工程实际问题具有重要的意义。数值模拟方法具有可重复性高、人力物力花费少、能排除偶然因素影响等优点,是研究混凝土裂缝产生与演化全过程的重要手段。新近提出的混凝土相场损伤模型是一种优秀的开裂模
基于免疫检查点抗体的肿瘤免疫疗法已成功应用于临床,这一疗法改变了传统放疗、化疗难以治疗晚期恶性肿瘤的局面,但免疫检查点抗体对不同肿瘤不同患者的临床反应差异大,总体响应率低,严重限制了免疫检查点抗体的临床应用范围。研究表明,肿瘤组织PD-L1表达水平低,肿瘤浸润性T淋巴细胞数目少,免疫抑制性细胞的浸润是构成肿瘤免疫抑制微环境的重要因素,常规化疗药在杀伤肿瘤细胞的同时,能够在一定程度上诱导肿瘤细胞的免
近年来,国内主要城市大规模开展轨道交通建设,与地铁配套的车辆段占用大量土地,新建地铁车辆段普遍规划有上盖建筑,地铁列车在车辆段运行引起的振动受到广泛关注。已有一些关于地铁车辆段车致振动的研究,但列车主要是传统A型车或B型车,对L型车在车辆段运行引起的振动研究较少。地铁车辆段需要埋设大量管线,综合管廊在车辆段已有应用,关于综合管廊的隔振效果的研究,未见报道。本论文依托广州地铁6号线萝岗车辆段,在试车
随着现代农业可持续发展理念的深化,人们的环保意识和农作物绿色有机意识日渐提高,无农药的有机栽培水稻越发受到青睐,该类水稻种植面积逐年扩大。相比其他除草方法,采用机器人除草作业更有利于农业的可持续发展。踩踏式除草是有机水田除草的有效方式,其除草过程的分析与评价是机器人设计的重要依据,由于田间除草试验季节性强、成本高、周期长,通过仿真建模,模拟机器人的除草过程并分析除草性能,具有周期短、变化灵活等显著
非线性动力系统具有非常丰富的动力学性质,其中混沌吸引子在动力系统中占有重要地位.混沌吸引子由于其复杂的结构以及在工程和安全通信等许多领域的潜在应用,成为动力系统的前沿研究.与混沌现象比较,超混沌系统呈现更加复杂的动力学性质.长期以来,学者们都在研究仅能产生有限个混沌或超混沌吸引子的有限维自治常微分动力系统.在二维平面多项式系统中,特别是在具有有限孤立平衡点的系统中,研究有多少个孤立吸引子和极限环是
汽车加油机器人通过使加油实现自动化可以弥补现有的加油模式的不足,因此在汽车加油站配置加油机器人并实现智能化加油显得有研究价值。在目前的研究中,对于汽车加油机器人中加油机构、加注接口、机器人本体结构和运动特性等技术的研究较多。对用于汽车加油机器人的识别定位技术的研究相对较少,特别是将双目视觉应用于汽车加油机器人系统的研究。因此本文就汽车加油机器人中的识别定位环节设计一套双目视觉系统,主要内容如下:(