基于高分辨率特征投影的视频超分辨率重建研究

来源 :西北大学 | 被引量 : 0次 | 上传用户:mumuduck
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
视频超分辨率是图像处理领域中一个经典且具有挑战性的视觉任务,其目标在于根据序列低分辨率视频恢复相应的高分辨率视频。视频超分辨率重建旨在利用相邻视频帧之间的时序和空间信息生成时空一致的高分辨率视频。本文重点围绕基于深度学习的视频时序特征学习,以及时空特征融合的视频超分辨率方法展开研究。在学习并研究了目前先进的深度学习视频超分辨率重建方法的基础上,提出了结合高分辨率光流估计补偿的高分辨率特征投影网络HOF-HRPN,其将多尺度低分辨率投影学习获得的特征信息融合进重建目标帧,有效保证视频时空一致的同时提高重建视频的质量。为了避免显式运动估计补偿存在引入伪影和模糊的弊病,构建了隐式帧对齐的高分辨率投影循环传播网络RHRPN,其融合序列低分辨率、高分辨率投影及超分辨率特征,并将其在帧间循环传递,生成时空一致性增强的视频超分辨率结果。本文的主要工作体现在以下三个方面:(1)学习并研究了先进且具有代表性的视频超分辨率方法,并对几种典型的视频超分辨率方法数值实现与分析比较。阐述了基于深度学习的视频超分辨率网络框架及算法流程。指出研究视频超分辨率重建具有重要的理论和实际应用价值。(2)提出了一个端到端的高分辨率光流估计补偿联合高分辨率特征投影重建的视频超分辨率网络HOF-HRPN。利用序列低分辨率帧之间的时序关系,高分辨率光流估计补偿网络计算相邻帧之间的高分辨率光流并补偿相邻帧,实现准确的帧对齐。高分辨率特征投影重建网络由多帧重建通道和单帧重建通道构成。多帧重建通道对序列低分辨率帧多尺度变换投影学习获得特征信息,并与单帧重建通道利用残差网络重建的目标帧融合,生成具有时空一致性的视频超分辨率结果。大量公开数据集的实验结果表明,HOFHRPN方法不仅在客观评价指标上具有竞争力,而且在视觉上可以恢复出突出的边缘轮廓,生成丰富清晰的纹理。(3)鉴于显式运动估计补偿往往会引入伪影和模糊,因此构建了隐式帧对齐的高分辨率投影循环传播网络RHRPN,其由高分辨率投影循环传播RHRP单元循环迭代组成。RHRP单元融合序列低分辨率、高分辨率投影和超分辨率特征,实现了时空一致性增强的视频超分辨率重建结果。
其他文献
进入21世纪以来,我国经济不断高速发展,人民生活水平日益提高,私家车数量也不断攀升,在这种形势下,人们对于机动车辆保险,尤其是商业车险的需求也与日俱增。然而在这一时期,国内车险市场由于长期存在产品形式单一,创新性不足,商车险服务水平不稳定,且市场管理“一刀切”的问题,使得国内车险市场发展严重受阻。为了解决这一系列新时期下出现的问题,满足日益增长的车险需求,中国保监会终于做出了改变,于2015年启动
学位
对于退休居民而言,疾病的高频发性以及罹患疾病产生的高额医疗费用使得健康风险成为退休居民面临的最主要风险之一,因此一些学者在研究退休居民的年金决策问题时,考虑了健康风险的影响。但过往研究的不足之处在于,这类研究通常把个体面临的健康风险作为外生变量——即个体的健康状态转移概率矩阵与其决策独立,仅与年龄相关。但现实数据以及部分学者的研究表明,个体的健康投入对于其健康状态具有显著影响,即健康风险具有内生性
学位
智能反射面(Intelligent Reflective Surface,IRS)可以通过软件定义的方式改变无线传输环境,进一步提升无线网络性能,是新一代无线通信的潜在技术,因而近期受到了广泛关注。典型的IRS通常由大量低成本被动反射无线电元件在二维平面结构上集成而成。其容易部署于无线传播环境中,以低成本和低功耗的软件控制方式将入射信号重新调制为所需信号,为无线通信系统性能提升提供了一个新的自由度
学位
教学行为识别在智慧课堂中有着广泛的应用,是教育智能化的重要实现手段之一。目前主流的行为识别方式,主要分为基于摄像头的行为识别和基于专用传感器的行为识别两类。基于摄像头的识别方式具有潜在的隐私泄露风险,而专用传感器因其昂贵的造价和不适感也无法应用于现实课堂。基于Wi-Fi信号的信道状态信息(Channel State Information,CSI)的行为识别方案能够以低成本实现普适化的推广,并且完
学位
在传统的中国社会,人口以家庭为聚落,老年人口的居住安排也以子女为主体,家中的子女及其配偶承担照料老年人的职责。而这样的传统的养老方式正在随着时代变迁出现脱节,一方面是老年人口,尤其是是失能老人的健康状况恶化,使得传统的养老方式无法满足多样化和繁重的护理需求,另一方面生育观念的转变和异地工作造成的代际地理距离增加使得人口结构正在转变,子女绕膝的老年家庭居住模式收到了一定的冲击。老年人口能否享受幸福的
学位
作为人类历史见证和珍贵遗存,古代绘画具有丰富的科学文化内涵和史料研究价值。但由于自然因素及人为破坏,它们大多遭受着褪色、破损、霉变等病害问题。低品质古代绘画极大降低了鉴赏体验且严重阻碍了文化传承,针对其的修复工作已刻不容缓。传统手工修复不仅耗时费力、面临专业技术人员稀缺等问题,还存在不可逆的二次破坏风险。为了解决这个问题,本文采用深度学习等先进技术,开展古代绘画图像修复研究。考虑到现有的图像修复算
学位
购买保险是居民应对风险的主要措施。随着老龄化大潮和后疫情时代的到来,中国居民风险意识的增强和保险需求的扩大对人身保险配置提出了新要求,因此研究居民在健康风险下的保险决策,对于提高居民的生活质量和促进我国保险行业发展具有重要意义。为了研究居民在重疾风险和死亡风险下的最优人身保险配置,本文建立了生命周期保险决策模型。居民面临的不确定性包括身体状况的不确定性和收入的不确定性,它们会影响到居民的收入、获得
学位
自2014年首只民企公募债违约、2015年首只国企公募债违约以来,刚兑打破后信用债市场不确定性愈演愈烈,爆发了许多令人咋舌的违约事件,2020年的永煤事件更是颠覆了市场认知,信用债市场遭受巨大冲击。加之新冠疫情席卷全球,需求下降,供给收缩,经济下行,信用环境面临前所未有的挑战。信用市场囊括了国民经济全部行业,而行业之前常有多层联系,既有信贷、贸易、股权、供应链等直接关系,也有宏观环境敏感性等带来的
学位
产险业务是我国保险市场的重要组成部分,近年来监管部门关于投资以及偿付能力等方面的相关政策对产险市场产生了深远影响,在此背景下,本文关注产险公司的可持续发展问题。可持续发展即公司仅依靠内部盈利便可满足偿付能力要求,而不需要外部融资。考虑到将产险公司所有业务聚合起来计算偿付能力资本要求以及沉淀资金具有一定的难度,因此本文以车险业务为例研究产险公司的可持续发展问题,本文研究思路对研究公司层面的可持续发展
学位
随着未来移动网络B5G/6G向智能化迈进,不同计算密集型和高能耗应用业务的涌现,使得移动终端将任务迁移到边缘服务器进行处理的边缘计算得到了广泛的应用。但由于物理尺寸的限制,移动设备通常在电池容量和计算能力方面受限,而边缘计算任务迁移过程中,大量的密集型计算任务将加速终端的能耗,缩短移动设备电池的使用周期。因此如何高能效地迁移任务、降低移动终端能耗,一直是边缘计算中的开放问题。在当前高能效边缘计算任
学位