基于强化学习的图像超分辨率研究

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:yaonulio
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像超分辨率(Image Super-resolution,SR)指的是由一幅低分辨率(LR)图像恢复出高分辨率(HR)图像的任务,它是在数学意义上的不可逆问题。最近几年,由于深度学习的大力发展,促进了许多优秀算法的产生。这些基于深度学习的算法的基本都是直接学习全局纹理的重建映射。但是,这样往往忽略了不同纹理之间的差别,因为每一类纹理都有其重建最合适的网络结构,因而对全局图像使用同一种网络结构进行重建并不能使整体的重建质量达到最优。另外,由于强化学习的发展,越来越多的学者将其与计算机视觉相结合。结合这两点动机,本文使用了强化学习算法来进行图像超分辨率任务的研究。算法中首先对输入低分辨率图像进行图像分割,然后通过强化学习算法动态的为不同的分割的图像区域选择合适的超分辨率重建算法,最后将所有超分辨的图像区域组合就得到最后的超分辨率图像。在此基础上,本文主要做出了以下贡献。第一,本文先设计的基于深度Q值网络对不同图像区域进行动态策略选择的图像超分辨率策略agent框架。应用深度Q值学习算法,使用三层卷积神经网络提取低分辨率图像子块的特征图作为agent的状态,以agent选取的模型作为动作,之后根据设计的区域内奖赏函数进行Q值训练,得到了最终的图像区域动态策略选择模型。第二,本文针对基于区域内奖赏函数的问题,即,相邻的图像子块如果纹理相似并采用了不同的SR模型进行重建,那么图像子块的交界会出现严重的伪影(artifacts),提出了基于区域间的奖赏函数并对动态策略选择agent框架作出了改进。考虑使分割后的相邻图像区域尽量选择相同的SR模型,以及控制图像使用SR模型的总数。与区域内奖赏函数相结合,解决了边界伪影问题。第三,为了进一步证明深度强化学习策略选择的优势,本文提出了基于人工模型融合图像超分辨率算法。方法令不同的图像超分辨率结构进行确定策略的融合从而达到对整幅图像进行超分辨率的目的。通过此方法与基于深度强化学习的动态图像区域策略选择算法作比较。从侧面证明本文提出的深度强化学习进行策略选择的优势。本文实验部分将所提出的方法其他一些已经公布的优秀算法的结果进行了比较,结果显示本方法在性能方面超过了大部分当今的算法,这证明了本文提出方法的有效性和实用性。另外,本文还对方法的各方面参数进行了研究,更详细的剖析了本文提出的算法的超分辨率重建结果质量和参数细节。据我们所知,本文探索了强化学习方法在超分辨率重建任务中的应用价值,缓解了图像结构存在多样化而超分辨率图像重建网络结构单一的矛盾问题。
其他文献
随着计算机科学的不断发展,流体模拟被广泛应用在电影、动画、游戏、虚拟现实和其他科学工程场景等诸多领域。精准高效的流体模拟方法能够极大地提升模拟的视觉感受效果以及相关工作的生产效率,然而当前现有的算法在模拟规模较大的流体场景时,受硬件条件的制约,很难做到效果和性能同时达到最优,往往必须在二者之间进行取舍。基于欧拉法的流体模拟是计算机图形学的重要方向之一,欧拉法的特点是精度较高和比较易于进行表面重构。
茶树(Camellia sinensis)的栽培在我国已经有3000多年的历史,茶树种质资源相当丰富;不同品种的茶树具有不同的适制性,在这其中茶叶内含成分起了关键作用。与茶树品质形成相关
明代是瘟疫暴发较为严重的时期,北直隶更是当时瘟疫高发的地区之一,作为京畿之地,北直隶地区一旦暴发大疫,会对明朝的政治、经济、人文等方面产生较为深刻的影响。本文以明时期的北直隶地区为主要研究对象。通过对北直隶各府、州、县瘟疫发生情况的史料记载进行分析,探求这一地区瘟疫发生的时空规律可以发现,在时间上,明前期瘟疫暴发频率较低,明中后期,尤其是嘉靖、万历、崇祯三朝疫情最为严重,崇祯年间甚至连续几年出现大
学位
热层是地球大气层中的一层,由于受到太阳辐射、重力波和各种超高速带电粒子流等外界能量的共同作用,热层中存在着复杂的耦合过程和动力学过程。热层大气风场是用来研究热层特
QK气藏是高温、高压、低渗、中等含凝析油的凝析气藏,具有埋藏深、物性差、地露压差小、各层凝析油含量变化大等复杂的地质特征。在开发过程中,气井普遍存在单井产能低、产量
柱塞气举是利用地层产气的能量,通过对气井的周期性开关,使柱塞在油管内上下循环运动排出井底积液,目的是减小对生产层的回压,提升地层产气功率,延长气井的生产寿命。但柱塞
目前,人类正在进行许多研究,其目的是向人民提供可再生能源。其中,大量的研究面向风能领域,这些研究的目的是使该地区更的风能资源得到更好地利用。风能工作的一个重要分支是
我国创新资源主要集聚于城市,城市在区域创新驱动发展中起着举足轻重的作用,城市创新能力与创新效率的提升直接影响着区域和国家的科技和经济竞争力。而我国经济发展存在很大的区域差异,为了在新一轮创新驱动发展过程中缩小区域差异,就必须缩小城市间创新能力和水平的差距。为此,本文基于区域创新体系、创新管理等理论,采用因子分析法、三阶段DEA-Malmquist方法以及收敛分析方法,对我国和江苏主要城市的创新能力
虚拟作物生长可视化仿真是农业科学与计算机科学的结合,由于虚拟作物仿真能够有效的缩短作物的生育周期,因此在农业科研和农业教学方面有极大的促进作用,而现实世界中作物以
伴随着人类对海洋的认识和探究,针对深海环境多要素大量监测数据高速实时长距离传输功能的需求,提高感应稱合数据传输技术具有重要的研究意义。感应耦合锚系链利用电磁感应原