基于门控双向循环网络的视频超分辨率技术研究

来源 :苏州大学 | 被引量 : 0次 | 上传用户:lanke0022
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高分辨率视频在生活娱乐、视频监控、医疗等多个领域有着非常大的需求,然而受网络带宽、成像系统等因素的限制,大量视频只能以低分辨率的形式呈现。为了解决该问题,视频超分辨率技术得到了广泛的研究。随着深度学习的快速发展,基于深度学习的视频超分辨率算法表现出了优异的性能。本文针对如何有效处理视频信息的时空域特征这一问题开展了深入研究,提出了基于循环神经网络的视频超分辨率算法,并在特征传播、特征聚合、特征重建和特征对齐等方面做出了改进。本文主要的研究内容与创新点如下:(1)提出了基于门控的双向循环分离网络(GBRSN)。GBRSN在特征传播、特征聚合和特征重建方面对视频超分辨率算法做出了优化。算法以双向循环结构为基础进行分离学习,利用正向传播获取图像的低频成分,利用反向传播获取图像的高频成分,并通过耦合结构实现特征的深层传播和扩大反向传播中每个循环单元的时域感受野。为了应对循环网络中的错误特征,算法在特征聚合中采用了门控结构对循环网络中的特征进行筛选和更新,有效地避免了错误特征的传播。相比于直接将插值得到的低频成分与网络推理得到的高频成分相加,本文优化了特征重建模块,采用残差模块对低频成分和高频成分进行微调,得到了更好的结果。本文在Vid4、UDM10和Vimeo-90K-T数据集上对所提出的GBRSN进行了实验,平均PSNR为28.51dB、39.84dB 和 37.54dB,平均 SSIM 为 0.8684、0.9701 和 0.9512。结果表明GBRSN算法在各个数据集上都具有很好的表现。(2)优化设计了基于光流的特征对齐模块。该模块能够进行有效的特征对齐,将其与GBRSN算法结合,设计了基于光流的门控双向循环分离网络(FGBRSN)。图像对齐的方法往往受限于插值产生的亚像素点,从而导致信息丢失。在基于深度学习的算法中,采用可变形卷积进行特征对齐的方法具有较好的性能,但这种方法训练难度较大。为了解决该问题,本文提出了一个轻量化的光流网络FNet,并对光流网络进行预训练。算法采用基于光流引导的可变形卷积模块对输入信息进行连续帧之间的对齐,对隐藏状态和输出状态进行连续循环单元之间的对齐。本文在Flying Chairs数据集上对光流网络FNet进行了实验,在Vid4、UDM10和Vimeo-90K-T数据集上对FGBRSN进行了实验,平均PSNR为28.79dB、40.22dB 和 37.62dB,平均SSIM为0.8714、0.9715和0.9518。结果表明FGBRSN算法相比GBRSN进一步提升了生成视频的质量。本文提出的FGBRSN和现有的算法相比具有一定的优势。
其他文献
改革开放以来,我国城市化和工业化进程不断推进,但同时也对环境造成了较大影响。面对当前的生态环境问题,我国积极践行可持续发展理念,深入推进绿色金融的创新,为我国经济发展方式的转变和经济结构的优化提供新思路。作为绿色金融重要的组成部分,绿色债券优势明显。绿色债券一方面能为企业提供新的融资渠道,有利于企业的生产经营,另一方面也能促进绿色产业的发展,有利于我国产业结构的改善和生态文明的建设。本文拟采取实证
学位
髋部助老外骨骼机器人是近几年的研究热点,已被研究证明在髋关节处提供助力可以有效的降低老年人等人群行走时的能量消耗和腿部肌肉力输出,但鲜有髋部外骨骼机器人辅助老年人平衡行走的研究。本项目整合外骨骼机器人技术、人体运动学、双足平衡行走理论、步态分析、多传感器信息融合等技术,采用理论研究、仿真分析、实验验证相结合的研究方法,以“髋部外骨骼机构和传感系统设计、髋部外骨骼辅助平衡行走控制策略研究、具有多模态
学位
近些年,在国际形势变化加剧、市场利率逐渐走低,加之股指期货负基差长期存在和融券需求增加的背景下,具有个性化定制的结构化期权产品逐渐被市场接受和认可。与其他结构化产品相比,安全气囊期权能够为投资者提供一定范围的下跌保护,因此广受投资者的欢迎。通过对安全气囊期权的条款的细致分析,本文利用衍生品定价理论构建了该产品价格满足的偏微分方程模型,并做了大量的数值分析。这些定性和定量的结果可以帮助投资者更好地理
学位
骨肉瘤是青少年最常见的恶性骨肿瘤之一,临床上迫切需要一种精确可靠的自动分割方法,来对疾病进行辅助诊断、治疗和预后。鉴于卷积神经网络优越的图像表征能力,本文基于卷积神经网络研究骨肉瘤CT图像的自动分割方法。主要针对医学图像分割领域普遍存在的不同尺度目标分割性能不一致、样本类别不平衡、训练难以收敛等问题,从网络结构、深度监督以及损失函数等方面,对现有算法进行改进。本文的主要工作及贡献如下:(1)为了缓
学位
传感器、微机电系统等诸多微型、低能耗电子产品应用广泛,传统的电池供能方式存在诸多弊端,研究如何持续稳定地为微电子产品供能是研究者面临的主要问题。近年来,流致振动作为一种新颖、高效、环保的能量来源,压电式流致振动俘能器逐渐成为研究热点。本文针对风致振动俘能器的阻流体、悬臂梁和能量收集电路三部分进行优化设计,提升俘能器的能量收集效率。建立了风致振动压电俘能器的物理模型,引入单自由系统分析了系统控制方程
学位
与无机薄膜晶体管相比,有机薄膜晶体管(Organic Thin-Film Transistor,OTFT)具有低温溶液可加工性和柔韧性等独特优势。它们通常对空气环境中的水汽和O2敏感,长期贮存稳定性较差,这阻碍了它们的实际应用。本文对以2,8-difluoro-5,11-bis(triethylsilylethynyl)anthradithiophene(dif-TES-ADT)为有源层的 OTF
学位
目的阐明分化型甲状腺癌术后行放射性碘13 1治疗的患者疾病不确定感的现状及其影响因素,为后期制定临床护理干预方案提供依据。方法本研究以江苏省江原医院接受放射性碘131治疗的分化型甲状腺癌患者为研究对象。1.通过文献回顾与质性访谈,了解患者疾病不确定感的现状及影响因素,自制一般资料调查表。2.采用便利抽样法,以一般资料调查表、社会支持评定量表(SSRS)、成人疾病不确定感量表(MUIS-A)、简易应
学位
光学相干断层扫描技术(Optical Coherence Tomography,OCT)是一种无创、高分辨率的三维活体成像技术,被广泛应用于视网膜疾病的临床检查。眼科医生通过阅读患者的视网膜OCT图像为其撰写诊断报告,为下一步的诊断和治疗提供客观依据。但人工撰写报告的方法存在效率低,受主观因素影响大等缺点,因此,基于视网膜OCT图像研究设计可靠的报告生成技术具有重要的研究意义和临床价值。视网膜OC
学位
在数字化信息技术高速发展的时代之下,智能身份认证在互联网公司和政企部门中得到广泛应用。若能设计一种自动、准确识别用户证件图像中各种关键文本信息的方法,将可以简化繁琐的人工办事流程,极大地提升工作效率。传统的光学字符识别技术(Optical Character Recognition,OCR)主要针对印刷和扫描文档的识别,在面对需要高识别准确率的证件图像场景时遭遇挑战。近年来深度学习发展迅速,并且在
学位
固体氧化物燃料电池(SOFC)作为一种高效环保的能源转换装置,在近年来获得了广泛的关注。然而,SOFC通常使用氧离子导电陶瓷作为电解质,需要在较高的温度(通常高于800℃)下才能获得足够的离子导电率,这加速了燃料电池的性能衰减,也对燃料电池的材料选择提出了严苛的要求,从而阻碍了其商业化进程。解决策略之一在于将SOFC的电解质材料替换为质子导电陶瓷,由此可将工作温度降低至中温区(450~700℃),
学位