基于深度学习的视频超分辨率重建技术研究

来源 :黑龙江大学 | 被引量 : 0次 | 上传用户:sunzzy120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超分辨率算法是视频和图像恢复重建算法的一种,其目的在于通过低分辨率输入重建高分辨率输出。与图像超分辨率算法不同,视频超分辨率算法需要对齐不同帧来提高重建质量。现有视频超分辨率算法大多基于光流法对齐,该类方法在边缘与遮挡区域的运动估计不够精确,导致恢复的视频存在模糊、鬼影等影响观感的现象。近几年,一些视频超分辨率算法创新地采用形变卷积来进行帧之间对齐,使得网络输出质量得到大幅提高。与基于光流对齐的方法类似,基于形变卷积对齐的方法同样需要高精度运动估计,其表现在于偏移图精度直接影响形变卷积对齐效果,继而影响网络输出质量;此外,网络参数量与推理时间也是限制算法部署应用的一个重要因素。针对上述问题,本文提出两个不同的神经网络模型进行优化,二者分别基于时空对称信息与双向记忆机制。第一个网络为时空对称网络(Spatial-Temporal Symmetry Network,STSN),侧重于提高模型输出质量。网络采用滑动窗口式输入,包含前融合模块、对齐模块、后融合模块和重建模块四部分。其中,前融合模块用于降低对齐模块计算量;对齐模块利用时空对称性估计高精度偏移图,将该偏移图用于形变卷积对齐;后融合模块将上一模块处理后的多组特征进行融合,并通过重建模块重建高质量的高分辨率输出。第二个网络为双向记忆网络(Bidirectional Memory Network,BMN),侧重于降低推理时间。网络采用递归式输入,包含预处理模块、监督对齐模块、双向记忆模块和重建模块四部分。其中,预处理模块用于将需要对齐的帧转化到特征层面;监督对齐模块使用形变卷积进行对齐,并将计算所得的多组光流场,用于监督所有偏移图生成层的训练过程,达到使网络收敛过程稳定的效果;双向记忆模块利用循环神经网络相关技术,在递归输入过程中记忆不同帧之间的非冗余特征,并将其用于后续重建;重建模块负责二次特征提取,利用提取到的特征重建高质量的输出。两种方法均在多个公共数据集上进行测试,实验结果充分证明两种方法均是有效的,且两种方法具有不同的设计侧重点,使其能够覆盖更广的应用场景。
其他文献
随着现代化进程的不断深入,能源已经成为人类生产生活中必不可少的物质基础。管道作为一种高效便捷的运输方式已经得到广泛应用,而柔性管道更以独特的优势成为油气运输的首选。但复杂的环境和恶劣的条件经常会使柔性管道因形变、泄漏等原因失效,引发一系列的社会问题和生态问题。针对传统检测方法存在一定的局限性和柔性管道在长距离传输中亟需进行健康评估的诉求,研究实用的柔性管道检测方法刻不容缓,光纤传感技术的出现为管道
学位
期刊
工业化的发展和现代文明对能源的需求增加,导致了化石燃料的枯竭。由于化石燃料资源不断减少、不可再生以及燃烧造成的环境污染问题,有必要寻找替代能源来满足不断增长的能源需求。生物柴油具有与传统柴油相似的性能和特点,是一种绿色、可再生、可生物降解的能源,与石化柴油相比,其CO2和SO2排放量相对较低,只需稍作改动,易于在发动机上使用,是未来最理想的替代能源之一。(1)本研究以废烹饪油为原料,测试和分析了废
学位
本次翻译实践报告的源语文本为生态旅游学著作Industrial Development and Eco-Tourism:Can Oil Extraction and Nature Conservation Co-exist?(《工业发展与生态旅游:石油开采能否与自然保护共存?》)的第三章“Cultural Dimensions of the Oil-Tourism Interface”(石油——旅
学位
本翻译实践报告所选文本为The Tough Standard-The Hard Truths About Masculinity and Violence(Chapters 2&3)(《严格标准:男性气质与暴力的残酷真相》)的第二章和第三章,该书介绍了国外社会心理学家对男性气质与暴力关系的多项综合性研究,并重点描述了“有毒的男性气质”。该书社会学与心理学专业术语涵盖范围广,语言用词严谨规范,简洁、
学位
近些年来,有机-无机和全无机卤化铅钙钛矿材料的光电特性研究成为当前材料科学和物理学研究的热点。因其具有较强的光学吸收、较窄的半高全宽、较高的光致发光效率和可调谐的发射波长等优异的光电特性,吸引许多科研工作者围绕其性能改进和实际应用开展研究探讨。科研人员根据卤化铅钙钛矿优良的光电转换特性制备高效率的太阳能薄膜电池;根据其优秀光学增益与高光致发光效率制备高质量铅基钙钛矿激光器;利用其可调谐发射波长制备
学位
翻译文本《现行有效的冰上舞蹈技术规则要求—2021-22赛季》(Ice Dance Requirements for Technical Rules with Ongoing Validity-2021-22)是选自国际滑冰联盟(International Skating Union,以下称国际滑联或ISU)官方网站在2021年5月6日发布的花样滑冰中冰上舞蹈比赛的最新技术规则文件。译者选取了最新
学位
面粉是日常饮食的主要来源之一,其安全与品质日益受到社会的广泛关注。滑石粉是一种常用的面粉添加剂。然而,长期服用滑石粉会引发肠胃系统病变、增加患卵巢癌风险。基于近红外光谱(NIRS)在检测物质成分方面具有快速、高效、无损的优势,本研究利用NIRS检测面粉中滑石粉含量。本研究基于NIRS结合化学计量学检测面粉中滑石粉含量。为了提高检测模型的适应性和实用性,基于三种面粉制备了123份掺有不同含量滑石粉的
学位
随着位置服务要求的提高和高带宽应用数量的增加,用户对快速、准确定位的需求不断增长,为了改善资源管理,许多应用场景需要精确定位技术。近年来,高精度定位技术在室内场景和运动控制领域得到了越来越多的关注和应用。在复杂的室内场景下,信号在传播过程中的反射、衍射等现象给高精度定位带来巨大的挑战。然而,5G毫米波技术具备高路损、波束窄等特性可获取信号的多径信息,而且毫米波信号的状态信息如到达角(Angle o
学位
随着人工智能、计算机视觉等技术的快速发展,基于步态的行人身份识别得到了广泛的关注和发展。然而,虽然步态数据的可获得性较高,但是识别率却可能会受到拍摄视角、行走状态等不利因素的影响。为消除不利因素的影响提取有效步态特征,本文提出了基于GAN视角转换的行人身份识别算法,可以将不同视角、不同状态的步态特征图转换为正常服饰、不携带物体的90°侧视图。此外,为提高生成步态图的真实性,使生成图包含较多的身份信
学位