渐进式迭代反投影与双向时域循环传播机制的超分辨率重建研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:shenjin62
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
21世纪多媒体技术的高速发展加速了高清显示器的普及,也使得人们对于作为重要信息载体的图像在实际生产应用场景中的质量要求越来越高。考虑到原始高清图像在获取和传输等过程中会经历不同程度的退化失真,如何从低质量的失真影像中抓取特征,获得高层视觉语言信息,最终生成细节纹理更为丰富的高质量影像,成为当前时代背景下的一个迫切需求,超分辨率重建技术在社会生产生活中的巨大应用价值与研究意义不言而喻。基于卷积神经网络的超分辨率重建技术有效的关键在于能否充分利用好时空域上的特征信息,本文围绕这一点展开研究。本文分析了现有模型存在的问题,提出了针对单帧超分辨率重建模型空域上特征提取与采样机制的改进,在此基础上,进一步提出了能处理视频时空域特征提取与融合的视频超分辨率重建方法,主要工作包含以下两个部分:(1)针对目前单帧图像超分辨率重建网络模型处理大倍率超分辨率重建任务时不合理的空域特征提取与采样映射机制,提出一种渐进式迭代反投影网络来实现高效率的上采样映射,具体为:采用更符合人眼视觉成像过程的迭代反投影单元,引入误差反馈机制;采用渐进式采样回避一次性大倍率上采样映射;采用密集连接机制促进网络间浅层信息的流动,并调整网络结构使密集连接的作用能得到充分发挥;采用亚像素重组层与其逆过程代替反卷积/卷积作为更高效快速的采样映射方法。实验结果展现了本文提出的模型针对大倍率超分辨率重建任务的优越性,以及它对于条纹等规律图案的强大恢复能力。(2)针对目前视频超分辨率重建网络模型对时域特征利用不充分的问题,设计一种双向时序操作的时域循环传播网络来加强对时空相关性的利用,具体为:采用类循环神经网络的机制,通过帧与帧之间时序状态信息的传递来代替传统模型中复杂的运动补偿环节;采用双向时序操作处理,提高输入视频帧间信息的利用效率;采用内容(1)中的渐进式采样机制回避一次性大倍率上采样映射;采用通道注意力机制实现通道级特征的缩放,提高特征融合的准确性。实验结果证明了本文提出的双向时域循环传播网络对于帧间时域信息利用效率的提高,以及对于视频超分辨率重建的优越性。
其他文献
实现无控条件下的全球大比例尺测图一直是高分辨对地观测中亟需解决的问题,卫星激光测高技术为解决这一问题提供了重要的思路,但前提是测高数据产品至少具有分米量级的绝对高程精度。受载荷器件、大气环境、地表目标特性等多种因素影响,对地观测卫星激光测高的原始数据误差大,其中的大气延迟、固体潮汐、大气散射等单项测距误差大幅超过指标要求;受运行热量和震动因素影响,卫星在轨期间的角度系统误差将带来高程方向米量级、平
学位
在早期筛查宫颈癌中,现在最常用的方法即细胞学检查法,该方法的普及推广使得发病率和死亡率大大降低了。然而排查过程的工作量较大而且专业医师紧缺,所以发展出了计算机辅助细胞学检测技术来帮助医师判别宫颈病变程度。该技术通过自动扫描宫颈涂片进行诊断,评价标准客观且其结果具有较高的临床实用性和可靠性,十分有利于提升宫颈癌筛查效率。近几年来深度学习在医学图像领域中取得了不错的成果,前人在宫颈细胞分类上已经做了很
学位
全光逻辑门、微环谐振器和全光开关等是发展未来全光网络的关键器件。这些器件以载流子浓度变化引起的折射率变化为基本工作原理,同时在工作时需要一定的增益。此外,为了在实际应用中获得良好的工作性能,要求器件对TE模和TM模入射光具有低的偏振相关性。因此,在器件设计中,不仅要兼顾材料的增益特性与折射率变化特性,还需要考虑增益和折射率变化低的偏振相关性。相较于体材料和量子阱,量子点具有三维量子限制效应,更有利
学位
二氧化硫是工业废气中一种最主要的污染物,直接对空排放会造成严重的大气污染问题。为了减少大气污染,很多工业现场使用氢氧化钠溶液吸收废气中的二氧化硫,并生成产物亚硫酸钠进行回收利用。在这个吸收过程中需要对氢氧化钠溶液的浓度进行连续监测以免出现过饱和现象。目前,一般采用传统的人工取样,再进行实验室化学分析的方法,如果要进行多点测量的话,不仅工作量巨大、效率低下,存在二次环境污染,且测量结果存在很大的时间
学位
近年来,全球经济迅速发展,人口激增,资源成为了人类社会发展的重要因素,而海洋作为资源宝库,开发海洋资源是人类重要的战略方向。并且,海洋环境复杂,致使全球海洋灾害严重。因此,探索认知海洋掌握海洋的规律是有效开发海洋资源与防治海洋灾害的重点,其中海浪为海洋工程中的重要动力参数,因此海浪的观测与研究也就成为了海洋工作中的一个重点。本文分析对比了国内外现有的海浪观测方法,并结合国内的海浪测量现状,为进一步
学位
三维扫描技术是获取物体三维信息的主要方式之一,被广泛应用在逆向工程、质量检测、医学研究及文物保护等领域中。作为最常用的两种测量技术,双目视觉和激光三角测量具有不同的特点。双目立体视觉通过模拟人眼获取三维信息,能够一次性得到整个视场范围内的三维点云数据。然而由于获取点云的过程需要进行立体匹配,而对于缺乏纹理的被测目标来说,比较容易产生误匹配,且由立体匹配误差引起的测量误差会比较大。激光三角法测量速度
学位
移动智能终端作为信息时代的重要代表之一,深刻影响着人类的工作和生活,在我们工作生活中的各个角落都有各种移动智能终端的身影,它们凭借各自的功能影响着人类生活,给人类的生活便利性以及工作效率带来了极大的提升。近年来,随着科技的进步以及制作工艺的逐步成熟,移动智能终端所搭载的系统功能越来越多,内置摄像头的功能越来越强大,硬件性能的大幅提升使其实时处理图像数据成为了可能。现如今,5G时代的到来和云存储技术
学位
在单目重建的过程中,常常利用运动恢复结构系统来得到各个相机之间的相对位置和部分图像特征点对应的空间点云。基于运动恢复结构系统的输出模型,使用多视图立体匹配算法(PMVS)能够进一步估计出不同图像上更多的匹配点对,来恢复出物体表面更为稠密的点云。但是,PMVS算法存在物体重建后细节丢失严重的问题,在拍摄的图片序列较少,重建物体的纹理不明显的情况下问题尤为严重。本文主要对单目三维重建系统中的稠密重建工
学位
装箱问题可以概括为将一批指定数量的不同物理特征(如重量、体积等)的货物放入指定的箱子中。装箱问题作为一个组合优化问题,广泛存在于生产生活中,并在物流运输行业中最为常见。随着经济的发展与贸易的增加,中国的货运量持续增长,国内对物流的需求也在逐渐加大,但我国物流业依旧停留在人工装载、无序运输的阶段,导致物流成本居高不下,带来了资源的浪费以及企业竞争力不足的问题。其中,装箱问题已经成为减少物流运输费用、
学位
现实世界中由于种种原因经常存在一些分辨率比较低的图像,这些低分辨率图像在如今经济飞速发展的时代已经满足不了人们日常生活和生产对图像清晰度的要求,因此超分辨率重建技术便起到至关重要的作用。超分辨率重建技术可以对低分辨率图像进行重建以生成质量较好的高分辨率图像,所以在对图像质量要求较高的场景下具有重要应用价值,如人脸识别等。通用的超分辨率重建算法应用在人脸图像的重建效果虽然表现不错,但是考虑到人脸图像
学位