基于深度学习的人脸超分辨率重建算法研究

来源 :武汉大学 | 被引量 : 0次 | 上传用户:herewe
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现实世界中由于种种原因经常存在一些分辨率比较低的图像,这些低分辨率图像在如今经济飞速发展的时代已经满足不了人们日常生活和生产对图像清晰度的要求,因此超分辨率重建技术便起到至关重要的作用。超分辨率重建技术可以对低分辨率图像进行重建以生成质量较好的高分辨率图像,所以在对图像质量要求较高的场景下具有重要应用价值,如人脸识别等。通用的超分辨率重建算法应用在人脸图像的重建效果虽然表现不错,但是考虑到人脸图像的特殊性,这些方法可能会因为对人脸图像中丰富的特征信息利用率低导致重建出的人脸图像存在纹理模糊等问题。本文主要的创新点及实验取得的效果如下:(1)首先对DCSCN网络可能存在的改进点进行对比实验分析,在DCSCN网络深度以及损失函数上做出了改进,提出了I-DCSCN网络。通过实验发现I-DCSCN网络重建出的图像在PSNR和SSIM基本达到最高值,且略高于VDSR和DCSCN,但显著高于其他比较方法。与双三次插值方法相比,当尺度因子为4时,该方法在三个测试集上的平均PSNR和SSIM分别增加了3.412d B和0.038。(2)在对DCSCN网络深度以及损失函数做出改进提出了I-DCSCN网络后,又引入了自注意力机制到I-DCSCN网络中,提出了SA-DCSCN网络,其由三部分组成:浅层特征提取模块,深层特征提取模块和重建模块,其中自注意力机制作用于深层特征提取模块中。在重建模块引入了一种新的上采样方法亚像素卷积法,该方法可以减小需要进行补零操作的转置卷积法对上采样图片带来的影响,并能减少计算量,加快重建速度。将SA-DCSCN网络模型与经典的人脸超分辨率重建算法、通用的基于深度学习的超分辨率重建算法以及I-DCSCN算法重建出的高分辨率图像在主观和客观上进行了评价,发现SA-DCSCN网络在主观和客观评价标准上均高于其他比较方法。与双三次插值方法相比,当尺度因子为3时,该方法的平均PSNR和SSIM分别增加了4.428d B和0.043,其中Test3的PSNR增加值得到了5.373d B。(3)由于用于测试的低分辨率人脸图像是通过对高分辨率人脸图像以固定方式进行平滑地下采样获得的,它没有考虑真实世界中低分辨率人脸图像形成的原因,本文又在真实的人脸数据集上对SA-DCSCN网络进行了实验,发现该方法具有良好的应用于对实际图像进行重建的性能。相对于双三次插值算法性能提升了21.98%,相对于基准模型I-DCSCN也有6.46%的性能提升。
其他文献
遥感影像车辆检测在国防军事,交通安全,城市规划,土地资源利用等领域具有重要的理论研究意义和实际应用价值。本文针对遥感影像特性,基于深度学习理论框架,从基于单应性的数据增强,多尺度特征融合,难分样本挖掘算法以及基于循环生成对抗网络的低分辨率遥感图像目标检测算法等方面进行探讨,以提高现有遥感影像车辆检测性能。早期的遥感影像车辆目标检测主要为基于模板匹配的方法,参数量大、对车辆目标的形状位置等比较敏感,
学位
实现无控条件下的全球大比例尺测图一直是高分辨对地观测中亟需解决的问题,卫星激光测高技术为解决这一问题提供了重要的思路,但前提是测高数据产品至少具有分米量级的绝对高程精度。受载荷器件、大气环境、地表目标特性等多种因素影响,对地观测卫星激光测高的原始数据误差大,其中的大气延迟、固体潮汐、大气散射等单项测距误差大幅超过指标要求;受运行热量和震动因素影响,卫星在轨期间的角度系统误差将带来高程方向米量级、平
学位
在早期筛查宫颈癌中,现在最常用的方法即细胞学检查法,该方法的普及推广使得发病率和死亡率大大降低了。然而排查过程的工作量较大而且专业医师紧缺,所以发展出了计算机辅助细胞学检测技术来帮助医师判别宫颈病变程度。该技术通过自动扫描宫颈涂片进行诊断,评价标准客观且其结果具有较高的临床实用性和可靠性,十分有利于提升宫颈癌筛查效率。近几年来深度学习在医学图像领域中取得了不错的成果,前人在宫颈细胞分类上已经做了很
学位
全光逻辑门、微环谐振器和全光开关等是发展未来全光网络的关键器件。这些器件以载流子浓度变化引起的折射率变化为基本工作原理,同时在工作时需要一定的增益。此外,为了在实际应用中获得良好的工作性能,要求器件对TE模和TM模入射光具有低的偏振相关性。因此,在器件设计中,不仅要兼顾材料的增益特性与折射率变化特性,还需要考虑增益和折射率变化低的偏振相关性。相较于体材料和量子阱,量子点具有三维量子限制效应,更有利
学位
二氧化硫是工业废气中一种最主要的污染物,直接对空排放会造成严重的大气污染问题。为了减少大气污染,很多工业现场使用氢氧化钠溶液吸收废气中的二氧化硫,并生成产物亚硫酸钠进行回收利用。在这个吸收过程中需要对氢氧化钠溶液的浓度进行连续监测以免出现过饱和现象。目前,一般采用传统的人工取样,再进行实验室化学分析的方法,如果要进行多点测量的话,不仅工作量巨大、效率低下,存在二次环境污染,且测量结果存在很大的时间
学位
近年来,全球经济迅速发展,人口激增,资源成为了人类社会发展的重要因素,而海洋作为资源宝库,开发海洋资源是人类重要的战略方向。并且,海洋环境复杂,致使全球海洋灾害严重。因此,探索认知海洋掌握海洋的规律是有效开发海洋资源与防治海洋灾害的重点,其中海浪为海洋工程中的重要动力参数,因此海浪的观测与研究也就成为了海洋工作中的一个重点。本文分析对比了国内外现有的海浪观测方法,并结合国内的海浪测量现状,为进一步
学位
三维扫描技术是获取物体三维信息的主要方式之一,被广泛应用在逆向工程、质量检测、医学研究及文物保护等领域中。作为最常用的两种测量技术,双目视觉和激光三角测量具有不同的特点。双目立体视觉通过模拟人眼获取三维信息,能够一次性得到整个视场范围内的三维点云数据。然而由于获取点云的过程需要进行立体匹配,而对于缺乏纹理的被测目标来说,比较容易产生误匹配,且由立体匹配误差引起的测量误差会比较大。激光三角法测量速度
学位
移动智能终端作为信息时代的重要代表之一,深刻影响着人类的工作和生活,在我们工作生活中的各个角落都有各种移动智能终端的身影,它们凭借各自的功能影响着人类生活,给人类的生活便利性以及工作效率带来了极大的提升。近年来,随着科技的进步以及制作工艺的逐步成熟,移动智能终端所搭载的系统功能越来越多,内置摄像头的功能越来越强大,硬件性能的大幅提升使其实时处理图像数据成为了可能。现如今,5G时代的到来和云存储技术
学位
在单目重建的过程中,常常利用运动恢复结构系统来得到各个相机之间的相对位置和部分图像特征点对应的空间点云。基于运动恢复结构系统的输出模型,使用多视图立体匹配算法(PMVS)能够进一步估计出不同图像上更多的匹配点对,来恢复出物体表面更为稠密的点云。但是,PMVS算法存在物体重建后细节丢失严重的问题,在拍摄的图片序列较少,重建物体的纹理不明显的情况下问题尤为严重。本文主要对单目三维重建系统中的稠密重建工
学位
装箱问题可以概括为将一批指定数量的不同物理特征(如重量、体积等)的货物放入指定的箱子中。装箱问题作为一个组合优化问题,广泛存在于生产生活中,并在物流运输行业中最为常见。随着经济的发展与贸易的增加,中国的货运量持续增长,国内对物流的需求也在逐渐加大,但我国物流业依旧停留在人工装载、无序运输的阶段,导致物流成本居高不下,带来了资源的浪费以及企业竞争力不足的问题。其中,装箱问题已经成为减少物流运输费用、
学位