面向移动端和云平台的图像超分辨率算法研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:GOUGOU2929
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的快速发展,超高清显示设备(诸如智能手机、智能电视、笔记本电脑等)的显示分辨率不断提高,对超高清视频资源的要求也越来越高。由于成本和效率方面的原因,目前市面上大多数的视频资源仍然停留在1080p(FHD)分辨率。但是目前的超高清显示设备的分辨率普遍达到了2K、4K,甚至8K。为了在不使用更高端成像设备重新拍摄制作视频资源的前提下使人们在超高清显示设备上体验精美的画面,采用图像超分辨率重建技术是十分经济有效的手段。同时,超分辨率重建作为底层视觉任务可以作为各种高层视觉任务的预处理模块。相较于传统机器学习算法,基于深度卷积神经网络的图像超分辨率技术依赖于其强大的非线性映射能力使性能得到了显著提高。近年来,学术界和工业界对图像超分辨率重建进行了深入地研究,产出了许多性能优异的模型。但是大多数算法时间复杂度较高,很难直接应用到目前的实际场景中。这里的实际场景可以分为移动端(智能手机、智能机器人、智能画质芯片等计算资源受限的平台)和云平台(以数据处理为主的计算型云平台)。本文主要针对移动端和云平台场景图像超分辨率重建的高效轻量模型构建、单模型任意倍数放大、稳定感知结果生成以及盲超分辨率问题进行深入研究,进而提出相应的解决算法。概括起来,本文所取得的主要研究成果如下:1.提出了一种信息精炼模块用于构建一个新的轻量级图像超分辨率网络。现有的大多数图像超分辨率网络虽然可以取得先进的性能,但是其为了达到更好的性能通常会加宽加深网络,这在推理阶段会带来不小的计算量和显存消耗。因此不利于实际应用的部署。针对这一问题,本文提出了拥有轻量级参数和计算代价的信息精炼网络。信息精炼模块作为信息精炼网络的基本单元。不同于之前不加区别地将当前提取到的特征送入下一层的方法,所提出的模块将当前提取到的特征分为两部分,一部分作为短路径特征保留而另一部分特征送入下一层进一步加强之后作为长路径特征。得益于这样的设计,信息精炼模块平均通道数较小,所消耗的参数量和计算量随之减少且能保持优秀的表征能力。2.提出一个多级信息精炼网络用于图像超分辨率重建。为了进一步提高基本模块的高效性,基于上述提出的信息精炼模块,本文提出了一个轻量级信息多级精炼模块,其包含精炼部分和选择融合部分。具体地,精炼部分逐步提取层级特征,融合部分根据这些特征的重要程度集成它们。此外,任意放大倍数的超分辨率是实际应用中的一个关键问题,这在之前的方法中没有得到很好的解决。针对任意放大倍数问题,本文提出了一种自适应裁剪策略,仅使用一个训练好的模型超分辨率合适尺寸的图像块,然后再进行拼接组成最终的输出。3.提出一种渐进式感知导向网络用于追求视觉效果的图像超分辨率任务。针对大尺寸放大时,基于峰值信噪比最大化的方法通常会产生模糊。生成式对抗网络的引入可以减轻这一问题且表现出令人印象深刻的合成高频纹理结果。然而,之前基于生成式对抗网络的方法总是倾向于添加假纹理甚至伪影,以使超分辨率图像在视觉上具有更高的分辨率。针对这一问题,本文提出了一种新的感知图像超分辨率方法,该方法通过构建阶段性网络逐步生成视觉上高质量的结果。具体而言,第一阶段集中于最小化像素误差,第二阶段利用前一阶段提取的特征来追求具有更好结构保留的结果。最后阶段使用第二阶段提取的精细结构特征,以产生更真实的输出结果。这就可以尽可能地保持感知图像中的像素、结构信息。所提出的方法可以在前馈过程中一次性构建三种类型的图像(内容、结构、感知),以满足不同任务的要求。此外,本文还提出了一种采用多尺度层次特征融合的生成器,其拥有合适的参数量和更大的感受野这一特点,有利于提高生成网络的表征能力。进一步,本文提出了轻量级版本的渐进式感知网络用于移动端应用。4.提出了一种基于风格迁移的图像盲超分辨率重建算法。由于实际应用中图像的降质通常是多样的,因此图像盲超分辨率重建的研究十分有必要。现有的盲超分辨率重建方法往往需要进行多次迭代优化且设计的多降质超分辨率网络参数量较大,这会造成训练和推断时间的延长。此外,目前的盲超分辨率方法主要以优化峰值信噪比为主,缺乏对感知盲超分的探索。针对上述问题,本文提出了一个自适应调制网络用于多降质超分辨率。其是由自适应调制层组成的。这里的自适应调制层受风格迁移中自适应实例归一化方法的启发,将模糊图像和清晰图像视作两种不同的风格。由自适应调制层构建的自适应调制网络可以实现更好的单模型多降质超分辨率。此外,结合真实度对抗损失可以得到感知自适应调制网络。为了使感知自适应调制网络可以根据感知评价指标方向优化,将强化学习框架引入盲超分辨率中。综上,本文通过对超分辨率任务的分析,提出四种模型,提升图像的重建结果、提高模型的重建速度,为移动端和云平台下的图像超分辨率提供了可供选择的解决方案。
其他文献
高分辨图像在国防安全、公共安全以及医学成像方面具有重要应用。由于低性能成像器件以及非理想成像条件,实际获得的图像常存在噪声、模糊以及较低的分辨率,严重降低了人们对图像的判读以及图像分析识别算法的性能。由于噪声和模糊核未知且难以准确估计,图像恢复是一个严重的病态逆问题。一般来说,现有图像恢复方法可分为两类,即基于模型的图像恢复方法与基于学习的图像恢复方法。前者通过构建图像的先验模型,并将图像恢复问题
学位
癌症,泛指恶性肿瘤,是一种复杂、异质且严重危害人类健康的复杂疾病。研究人员对癌症的研究已经持续了数十年。随着高通量测序技术的不断发展及其成本的不断下降,目前已经产生了大量不同组学的数据。人们普遍认为,不同层面的生物数据共同影响和调控多个生物学过程,为科研人员研究癌症的形成和发展提供更可靠的信息。因此,多组学数据集成作为一种综合利用不同组学数据研究癌症相关问题的计算方法,近年来受到生物信息学领域的广
学位
飞行器以高超声速在高空大气层中飞行时,所产生的包覆飞行器的等离子鞘套,会干扰和屏蔽雷达回波信号,导致信号幅度和相位发生畸变、多普勒谱异常展宽,增加了雷达探测的难度。本文针对这一问题,分析了等离子鞘套中的全反射临界角、阻尼效应及共振面屏蔽效应,改进了等效传输线电磁波反射计算方法,提出了稳态流动等离子鞘套环境下的雷达回波信号计算方法,建立了稳态流动等离子鞘套包覆目标的雷达距离像模型,仿真分析了稳态流动
学位
自从2004年石墨烯被成功制备之后,二维材料因其独特的几何结构以及其与块体材料大不相同的电子结构和光电特性受到了研究者们的广泛关注。二维材料拥有近乎无限的体表面积比以及足够多的反应发生的位置,使得它在光电催化、光电磁传感领域有着三维材料没有的特点。二维材料中的过渡金属二硫化物(TMDs)族材料有禁带宽度分布广泛的特点,其中PtSe2由于其对层数十分敏感的光电性质以及可以利用应变和缺陷等方式有效调节
学位
在当今财务共享服务理念下,企业实施财务管理应当对现有的工作管理模式、管控内容进行定向化调整,同时在财务共享管理框架下企业也需要对现有的管理结构、管理系统进行重新构建、打造,实现企业内部各项信息资源的有效流通,为企业预算管理、成本核算管理,以及管理会计工作的开展提供稳定高效的数据支撑,帮助企业实现财会管理以及业财一体化管理。本文在财务共享服务框架下,对企业财务管理的策略进行分析、探讨。
期刊
提升雷达对于高速机动目标的探测能力对于现代化国防建设来说具有重大的现实意义。雷达目标检测的核心在于目标回波能量的相参积累,然而,高速机动目标在相参积累的过程中容易发生距离徙动现象和多普勒频率徙动现象,这两个现象会使目标回波能量沿着距离维和多普勒频率维发生散焦,从而会给高速机动目标的相参积累带来严重的性能损失,进而引发雷达检测性能的显著退化。尽管针对该问题已经有了不少的研究成果,但是如何实现低运算量
学位
语音信号是人类社会信息交流的一个重要的载体,随着人工智能技术的发展,人机交互的应用场景越来越多,使机器能够具备与人类一样接收和理解语音的能力,是人工智能领域非常重要的问题。然而,现实声学环境通常存在未知噪声和多径效应,在获取的语音信号中包含复杂的噪声特性,增加了机器对语音的识别与理解的难度。因此,降低语音噪声和分离纯净语音成为一个热门的研究课题。论文分析了复杂环境下的声学混合模型,研究了强混响(高
学位
随着硅(Si)基芯片中器件尺寸逐渐逼近其物理极限,尺寸缩小难以继续,各种新材料和新结构逐渐被用于继续提高金属-氧化物-半导体场效应晶体管(MOSFET)器件的性能。沟道材料上,采用应变硅技术来提高载流子迁移率的方案很难再有提升空间,而直接采用高迁移率材料代替Si作为沟道的技术路线逐步成熟,锗(Ge)沟道MOSFET技术是其中的重要组成部分。本文以实现高性能Ge沟道MOSFET器件为目标,研究了基于
学位
半空间上方目标与环境复合电磁散射特性的研究,在目标探测与识别、雷达成像、资源探测、天基遥测遥感等方面有着广泛的应用。与自由空间中目标电磁散射的计算方法不同,半空间情形需要考虑界面反射的照射波、目标与背景的相互耦合,其散射特性与自由空间情形差异较大。本文系统地研究了分层半空间上方目标瞬态电磁散射计算方法。主要包括分层有耗半空间界面时域反射和透射系数、半空间上方任意取向偶极子的时域远场快速计算、半空间
学位
本文的研究内容主要包括中等增益天线和多频段共口径基站天线设计两个方面。随着第五代移动通信技术的发展,越来越多的小基站被用来实现信号间的无线回传。这种短距离通信的场景就要求回传天线具有波束偏转、波束扫描和多频化的性能,以实现无线信号的传输速率和信道容量的提高。不仅如此,随着第五代移动通信技术的出现,多代移动通信系统将共存于一个宏基站系统中。且不难预见,在未来将会出现第六代、第七代等与现存的移动通信系
学位