基于深度学习的图像超分辨率重建

来源 :南京航空航天大学 | 被引量 : 0次 | 上传用户:jjass
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像的超分辨率重建(Super-Resolution,SR)是计算机视觉领域研究的重点之一。传统的图像SR算法通过估计图像的退化模型来对低分辨率图像进行重建,通常存在重建图像纹理不连续,视觉质量差等问题。近年来,随着深度学习技术的不断发展,虽然基于深度学习的SR算法取得了远超传统算法的重建效果,但是仍然存在着明显的缺陷,如:重建图像纹理细节不完善;相对于重建图像客观评价指标,重建图像主观视觉质量不能满足要求;海量的模型参数导致计算量巨大,训练好的模型难以部署到应用端等问题。针对上述三个问题,本文从不同的角度,提出了三种图像SR深度神经网络模型。本文的主要工作和创新点如下:首先,针对重建图像的纹理细节不完善的问题,提出了基于双重注意力机制的SR网络。该网络通过设计特殊的特征提取网络连结空间注意力机制和通道注意力机制,选择性的学习低分辨率图像中的特征,更加关注低分辨率图像中的高频信息,抑制其中的低频信息,从而使网络更加关注图像的纹理细节重建。实验证明本文所提出的基于多种注意力机制的SR网络,在重建图像的纹理细节恢复上,有十分明显的提升。其次,针对现有的SR网络重建的图像人眼视觉效果不佳的问题,提出了基于生成对抗网络的高频信息融合SR网络。该网络通过设计一个轻量级的空间注意力模块,同时对ESRGAN的网络构架加以改进,搭建了一个高频信息融合的特征提取网络。最终再辅以一个高频损失函数来优化生成器网络的训练。实验结果表明,该网络重建的图像不仅仅取得了十分优秀的人眼视觉效果,而且与一些其他的基于生成对抗网络的SR网络相比,本文的模型所重建图像,在纹理细节上更加清晰。再次,针对现有的SR网络为了追求更好的评价数据而一味地增加模型的层数,导致模型的参数量和计算量巨大,难以部署到移动端的问题,提出了基于特征廉价卷积的SR网络。该网络以特征廉价卷积操作为基础,辅以轻量级的通道注意力机制,构建了一个多级信息融合特征提取网络,该网络可以获取低分辨率图像中由浅层到深层的特征;同时以梯度损失函数来优化网络的训练,让整个SR网络仅仅以600多K的参数,38层的网络,便获取了十分优良的重建性能。实验证明该SR网络与其他的轻量级SR网络相比,具有重建性能好,参数量低,重建时间短等突出优点,拓展了SR技术的应用范围。最后,对本文所提出的三个算法进行了详细的对比,对本文的研究工作中的不足进行了总结,同时对未来图像SR技术的发展方向进行展望。
其他文献
歼击机作为军队空中力量的核心具有广阔的军事发展前景和应用价值,其所处的高烈度战场环境和高机动作战任务使故障发生的概率增大,这对飞行控制系统的稳定性、安全性提出了更高的要求,为高机动歼击机系统设计有效的故障估计和容错控制方法具有重要意义。本文以典型歼击机F-16为研究对象,考虑舵面故障、传感器故障、参数不确定及外部扰动等因素,研究高机动情况下的故障估计与相应的容错控制方法。本文的主要研究内容如下:针
学位
由于具备一般固定翼飞行器不具备的灵活性,直升机被广泛用于海上救援任务,需要面对各种复杂的环境。在这种情况下,直升机应急漂浮系统是提高直升机的安全性能的重要部件。本文以直升机应急漂浮系统为研究对象,主要从故障诊断、寿命预测等方面对控制组件进行了健康管理关键技术研究,主要工作包括以下几个方面。(1)基于多信号流图模型的故障诊断。在控制组件FMECA(故障模式及影响分析和危害性分析)分析结果的基础上,建
学位
针对我国现有桥梁水下桩基病害损伤程度评定的相关分级标准存在评估指标难以定量化、分级标度不统一、划分过程主观性较强等不足,提出一种病害程度区间定量划分的方法,该方法将桥梁水下桩基常见病害分级标度统一为5级,并将有限元计算数据作为确定各标度区间范围的分析依据,以增强病害分级评定的客观性。首先,采用有限元软件ABAQUS研究了水下桩基6种常见病害对桥梁桩基水平承载力的影响程度;其次,根据有限元计算结果,
期刊
深度估计算法是计算机视觉领域中重要的研究方向之一,随着卷积神经网络在图像领域内的广泛应用,基于深度学习的自监督单目深度估计算法,凭借其不需要额外三维感知设备获取真值数据的优点,逐渐成为了深度估计领域内的研究新热点。而当基于图像重建的自监督深度估计算法运用到复杂场景中时,仅依赖重建图像的光度损失不足以约束深度估计,特别是当使用单目视频序列数据时,存在遮挡、动态区域以及尺度不一致的问题。结合模型实际使
学位
互联系统,是一组子系统通过一定耦合机制组成的复杂系统,每个子系统协同作用以达到满意的局部(单个子系统)和全局(整个互联系统)性能。互联系统的稳定性研究不同于单一系统,必须考虑耦合机制带来的影响。小增益原理能够有效解决这个问题,因而被广泛运用于非线性互联系统的镇定以及容错课题。在稳定性的基础上,现代互联控制系统对安全性的要求越来越高,因为一旦安全关键状态在故障下超出安全区域,往往会导致系统性能恶化,
学位
生物特征识别技术是指通过人的身体部位或行为特征进行身份识别的技术。本文研究了基于人体上肢图像的生物特征识别技术,主要包括手部和手臂部分。使用了深度学习技术和融合算法,结合相关图像处理技术,针对不同的图像采用不同的算法和流程,验证了基于人体上肢图像进行身份识别的可行性和所提出的算法对优化识别结果的有效性,主要工作有以下几部分:第一,研究了基于手部图像的身份识别任务。本文使用了可见光手部图像和同步拍摄
学位
随着无人机和传感器等技术的发展,使用无人机执行目标检测等计算机视觉任务逐渐在军用和民用领域得到普及。为了适应雨雾天气和夜间等低照度环境,无人机通过搭载可见光和热红外传感器来保证全天候条件下的工作需求。为了提高无人机在低照度环境下的目标检测性能,本文采用深度学习技术对相关图像融合和目标检测算法进行了研究。首先,为了满足深度学习模型对数据的需求,本文首先制作了利用可见光与热红外双光版无人机进行采集的可
学位
<正>研究目的:由于肩关节是人体最灵活的关节,在保证其具最大灵活性的同时,在其稳定程度上受到了受一定的损失,从而在抵抗损伤的能力方面,显露出其存在的解剖生理弱点,肩关节肌肉肌力的发展的均衡程度对维持肩关节的稳定性和活动范围显得尤为重要,因此,研究和评价肩关节肌肉肌力特征,对于了解肩关节周围肌力特征、
会议
随着社会经济的快速发展,计算机视觉系统的应用越来越广泛,但在雾霾天气下,采集到的图像质量退化严重,对生产生活造成不利影响。因此,研究图像去雾算法,提高雾天图像的质量有重要意义。本文以大气散射模型为基础,分析雾天图像降质原理,提出新的去雾算法并且针对不同场景提出改进算法。首先,针对现有的有参考和无参考图像质量评价指标对雾天图像质量评价的不足,本文提出一种符合人类视觉感知的无参考雾天图像质量评价方法,
学位
三维人脸重建及识别是计算机视觉领域的重要研究方向,近年来已取得诸多成果,在虚拟现实、动画、身份验证等领域具有广阔的应用前景。由于深度卷积神经网络在图像分类等领域取得重大成绩,基于深度学习技术研究三维人脸重建及识别任务成为热点。本文对三维人脸重建及识别进行深入研究,致力于提高人脸重建精度及识别准确率等。主要工作如下:第一,针对位置图回归网络(PRNet)较薄弱的网络结构,提出一种结合多尺度融合特征和
学位