基于深度学习的单幅图像超分辨率算法研究

来源 :东南大学 | 被引量 : 0次 | 上传用户:w13857464643
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网以及多媒体技术的迅速发展,包括图像、视频在内的视觉数据迅速增加,相应的数据处理也显得愈发重要。海量的视觉数据往往蕴含着大量有用的信息,通过计算机视觉的方式去处理这些数据有利于更好地服务于人类。超分辨率的目标是通过提升视觉数据的分辨率从而改善其显示效果,有利于计算机视觉更好地捕捉其中的有效信息。本文基于深度学习算法对单幅图像的超分辨率进行了深入研究,提出了三点改进:合理优化损失函数、引入注意力机制强化高频信息的恢复以及利用递进学习促进模型更好更快地收敛。主要工作以及相应的结论总结如下:1.针对目标函数的问题,本文探讨了不同的损失函数对超分辨率网络训练结果的影响。均方误差函数虽然会使超分辨率模型输出高峰值信噪比(Peak Signal to Noise Ratio,PSNR)的图像,但纹理细节等往往趋于模糊,视觉效果较差。包括感知损失、纹理损失在内的损失计算方式则是从特征层面追求预测图与原图的一致性,从而可以获得较好的视觉效果。全变分损失函数在去除噪声的同时可以较好地保留图像边缘。基于生成对抗网络在图像和特征两个维度上对算法生成的图像做判别,在两个网络达到纳什(Nash)均衡后,生成器可以学习到接近真实数据的分布。最后,本文还探讨了不同损失函数组合后对训练效果的影响,从而促进算法模型实现更好的超分辨率效果。2.针对图像中高频纹理信息难以恢复的问题,论文提出了嵌入注意力机制来强化高频信息恢复的方法。注意力机制是通过全卷积网络在像素层面做出判决,判断每一个像素是否处在高频区域中。在嵌入到超分辨率网络后,基于注意力机制进行相应的增益和弱化,从而提升模型在高频信息部分的恢复能力。本文也尝试了多种算法对注意力生成模型做出改进以进一步提升性能。相应的实验环节展示了注意力机制嵌入前后在高频细节恢复上的差异,同时在不同数据集上PSNR和结构相似性(Structural Similarity index,SSIM)等指标也获得了提升,由此论证了注意力机制的有效性。最后通过与其他算法模型的比较,证明了整个网络框架性能的优异性。3.针对超分辨率网络模型训练较慢,同时难以收敛到较好的局部极小值的问题,本文提出采用递进学习的方法训练超分辨率网络。递进学习主要涉及课程设置以及相应的递进学习方法。在课程设置方面,基于灰度共生矩阵提取图像纹理特征,随后采用基于密度峰值的聚类方法实现对训练集的划分。在递进学习方法上,则依据在不同训练子集上的学习曲线斜率动态分配样本采样的概率分布。实验表明灰度共生矩阵以及基于密度峰值的聚类方法可以实现对训练集在纹理复杂度层面上较好地划分。本文提出的递进学习改进方法在加速模型收敛的同时还可以避免对已掌握“课程”的遗忘,整体提升模型的效果。
其他文献
有机-无机杂化钙钛矿材料因其具有高的载流子迁移率,电子/空穴扩散长度长,合适的禁带宽度,光吸收范围广等优点,是一种比较理想的太阳能电池材料,被大家广泛用于制备太阳能电
研究背景:肌筋膜疼痛综合征(myofascial pain syndromes,MPS)又被称为肌筋膜炎,是指肌肉及其筋膜的慢性无菌性炎症引起的疼痛,是中医骨伤科门诊的常见病。肌筋膜扳机点(myofa
能源危机与环境污染日趋严重,这促使世界各国致力于新能源的开发、收集与利用。电容器作为一种适用于脉冲装置领域的核心电容性部件,亟需提高其介电击穿强度和储能密度,以适
2007年以来,新资助政策体系成为贫困学生大学入学和学业完成的重要经济支持。但是,政府和高校将“精准资助”作为高等教育资助政策理念的情况下,大学新生贫困资助政策效果有待进行科学的评估。基于政策评估方法和2016年11月-12月开展的第一轮“湖南高校大学生发展”调查数据,本文发现,大学新生贫困仍然较为普遍,且贫困家庭的经济负担较重,必要开支占家庭年收入的比例达60%左右,尤其以农村地区的学生更严重,
分块量子化学方法已经成为研究大分子和凝聚相复杂体系的能量、结构和性质的重要工具。其核心思想是把所要研究的目标体系按照一定的规则划分为一系列较小的子体系,对这些子体系进行标准的量子化学计算得到能量和性质,最后通过线性组合子体系的能量或性质来得到目标体系的相应的物理量。近十年来,世界上很多课题组开发了不同的分块量子化学方法,主要区别在于构建子体系的方式。一般地,对大体系,这些分块量子化学方法能够提供和
农业是受气候变化影响最敏感的部门之一,华北平原作为我国重要的粮食主产区,评估气候变化对其粮食生产及其可持续发展的影响,从而提出应对措施,对于保障我国的粮食安全意义重
经济飞速发展,人口快速增长,土地资源稀缺,城市的迅速发展造成交通压力激增,阻碍城市未来发展。因此地下空间的开发与利用成为人类扩大生存空间的重要方法,人工冻结法的应用
中巴公路连接中国和巴基斯坦,是中巴经济走廊的重要组成部分,具有极为重要的地理位置。公路穿越喀喇昆仑山、喜马拉雅山和兴都库什山,沿线地质条件极为复杂,地质构造活跃,历
随着国家海洋强国战略的推进,我国海洋工程快速发展。舟山群岛扼守我国东海大门,由于其特殊的地理位置,大批海岛建筑工程也相继上马,如在舟山群岛新区,舟岱跨海大桥、渔山岛
近年来,随着计算机软硬件技术的发展,深度学习、卷积神经网络技术在计算机视觉领域掀起了一股浪潮。卷积神经网络的出现,使得图像中物体特征设计的难题得到了解决,越来越多的研究将卷积神经网络应用在计算机视觉领域。目标检测作为计算机视觉领域内的基础任务,一直是热门研究的课题。国内外学者提出了多种以卷积神经网络为基础的目标检测算法并加以改进,例如R-CNN,Fast R-CNN,Faster R-CNN,RF