【摘 要】
:
图像或视频的超分辨率算法在诸如医疗、视频监控、多媒体娱乐等领域均有着十分重要的应用场景和价值,因此一直是学术界的一个研究热点。但是,现有的一些图像或视频超分辨算法均需要大量的训练样本对来训练网络,这一过程需要消耗大量的时间和计算资源。本文以此为切入点,探究在零样本条件下,通过卷积神经网络来学习图像的内部特征,从而完成超分辨率任务。本文的主要研究工作如下:目前,现有的深度学习方法大多为需要大量数据作
论文部分内容阅读
图像或视频的超分辨率算法在诸如医疗、视频监控、多媒体娱乐等领域均有着十分重要的应用场景和价值,因此一直是学术界的一个研究热点。但是,现有的一些图像或视频超分辨算法均需要大量的训练样本对来训练网络,这一过程需要消耗大量的时间和计算资源。本文以此为切入点,探究在零样本条件下,通过卷积神经网络来学习图像的内部特征,从而完成超分辨率任务。本文的主要研究工作如下:目前,现有的深度学习方法大多为需要大量数据作为监督信息,我们利用图像在经过多次插值后,质量降低的特点,提出一种在零样本条件下生成训练数据的方式,使用多层全卷积神经网络增强网络的表达能力,并通过残差连接结构更好地利用图像的高频信息,最终完成图像超分辨率任务。实验证明相较于传统的双立方插值方式,在Set14数据集和Videoset4数据集上不同的放大倍数下,PSNR平均有0.21db以上的提升,SSIM指标均有0.0165以上的提升。同时对比了SRCNN与ESPCN网络效果,在放大倍数为2、3时,达到了更优的效果,而在放大倍数为4时,则略弱于这两种对比算法,说明此时外部数据的统计特性对于映射关系学习更为重要。针对视频图像的时空特性,为使用视频图像的帧间冗余信息,我们将上述方法进一步扩展到多帧零样本视频超分辨率任务之中。通过引入自适应运动补偿策略来进行数据的预处理,从而降低相邻帧错误配准,更好地利用帧间高频信息。之后将预处理后的多帧相邻图像通过网络进行特征提取后,采用早融合的方式完成特征融合,并最终完成对目标帧的超分辨率重建,相较于本文的单帧图像超分辨率算法,在不同的放大倍率下,PSNR平均有0.24db以上提升,SSIM平均有0.0066以上提升,同时实验发现在放大倍数为3、4时,效果更加明显。为解决传统光流估计算法实现运动估计和自适应运动补偿所带来的人工伪影和畸变等问题,引入深度学习的方式,结合VESPCN中的运动估计模块,更加高效地来完成端到端的光流估计学习与运动图像补偿,对上一部分进行改进,从而提升预处理的速度和超分辨率重建的效果。实验验证了通过网络所获取到的运动补偿图像更加的准确,从而在PSNR和SSIM上均有不同程度的提升。
其他文献
在我国经济进入增速放缓、动力换档的大背景下,政府财政增长乏力,单靠传统财政资金已难以满足基础设建设和运营等公共服务需求。PPP模式成为破解公共服务领域建设运营难题的可行方案之一。从2013年起,财政部开始大力推行PPP模式,2014年-2020年7月,财政部综合信息平台管理库累计入库9668个,资金规模达15万亿。但近两年来,为规范政府债务管理,国家加强了PPP项目风险管控,进一步规范PPP项目入
民间文化中包含着大量反现代性的因子,如果没有对沉淀着较多传统余绪的民间文化的质疑和否定,文化现代化就无从发生。然而,强调对民间文化的现代性转化并不意味着对传统民间文化的全盘否定。文化具有内成性,一个国家的文化只能从本民族原有的文化体系中生长出来。基于此,河北作家关仁山耗时多年行走于冀东大地,他以现代性为创作指向,重新审视了以乡风民俗、乡贤文化和民间信仰为代表的民间文化,依恃自身深厚的文化积淀和对历
甘蔗糖蜜的含糖量很高,且含有很多酵母生长所需要的营养物质,但由于其成分十分复杂,其中含有的胶体物质、金属离子、焦糖色素等对酵母生长繁殖与发酵有着抑制的作用,利用甘蔗
保障能源安全是关乎我国社会经济建设的重要课题之一。近年来,西方先进国家已经针对智能电网的规划与建设进行了大量的研究与实践,智能化电网已经成为我国电力能源领域建设的
系留气球系统作为一种滞空平台,具有超长的续航能力、极高的性价比以及很高的民用和军用价值。系留气球收放绞车作为气球升空回收与滞空的重要装备,关系到系留任务的可靠运行与安全保障。鉴于传统的牵引储缆集成式绞车无法满足任务要求,本文应用了一种牵引与储缆分离技术,设计了一套具有张力释放、柔性自动排缆和双驱动等特征的收放绞车,并对其相关技术进行了研究和优化。虽然该收放绞车服务于系留气球,但是相关的研究方法和结
三电平PWM整流器具有直流侧电压可调、能量双向流动、网侧电流正弦度高、单位功率因数运行以及适应于大功率场合等优点,在有源滤波、电气传动及新能源发电等领域得到广泛应用。同时,多种应用场合和领域也对PWM整流技术提出更高的要求。本文以NPC型三电平PWM整流器为研究对象,对于在无网侧电压传感器情况下的模型预测直接功率控制算法进行深入研究,主要的工作如下:本文首先说明了NPC型整流器的拓扑结构,给出了其
随着我国城乡经济的繁荣,休闲观光农业也快速发展。然而,随着城市空间的快速变化,一些本该属于孩子的公共活动空间也在逐渐消失;拓展新的活动空间,成为社会关注的热点;因而田园式亲子乐园的开发就势在必行。本文在研究相关文献和政策基础上,对国内外休闲观光农业、田园式亲子乐园的发展,从概念、内涵、特征等方面进行了详细阐述。论文选取了国内三个具有典型性的类似案例—浙江安吉熊出没乐园、南京巴布洛生态谷、苏州泰迪乐
音乐语言是无国界的,“康塔塔”源于欧洲,是一种多乐章的大型声乐套曲体裁,通常由一系列的宣叙调、咏叹调、叙咏调、二重唱和合唱组成,具有一定的故事情节,是巴洛克时期最主
目的基于SIRT1-HIF-1α-VEGFA信号转导通路探讨羟基红花黄色素A(Hydroxysafflor Yellow A,HSYA)对氧糖剥夺/复糖复氧(Oxygen Glucose Deprivation/Reoxygenation,OGD/R)损伤大鼠
目的:通过观察穴位埋线干预单纯性肥胖患者过程中体重、BMI、腰围、臀围、腰臀比、甘油三酯、血清总胆固醇、高密度脂蛋白胆固醇、低密度脂蛋白胆固醇和血糖等相关指标的变化,来验证穴位埋线治疗单纯性肥胖的临床疗效及其安全性。为穴位埋线干预单纯性肥胖在临床上的推广及应用提供更好的证据。方法:本研究采用随机、单盲对照试验,在上海中医药大学附属龙华医院门诊及病房招募84例单纯性肥胖及超重的患者,将他们随机分为对