基于深度学习的视频超分辨率重建技术研究

来源 :河南大学 | 被引量 : 0次 | 上传用户:haoxuexi0825
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
超分辨率重建可以从细节模糊的低分辨率图像中重建出分辨率更高且细节信息更丰富的高质量图像,在工业领域、军事领域等诸多领域中均有着很高的应用价值,因此一直是计算机视觉领域中的研究热点。单幅图像超分辨率重建通过探索图像内的自相似性进行重建,受限于图像本身有限的信息,其重建结果也受到了一定的限制,而视频超分辨率重建则可以利用更多相邻帧的信息帮助重建。但是,如何高效充分利用相邻帧间的时间及空间相关性信息进行重建是一个亟待解决的问题。目前在视频超分辨率重建方法中,多是通过配准或光流估计的手段来提取相邻帧间的时空信息,这种方法高度依赖于配准及光流估计的准确性,此外,在高倍超分辨率重建时,重建结果的细节信息丢失较多。针对上述问题,本文基于深度学习技术对视频超分辨率重建方法进行研究,提出了一种无需计算光流的视频超分重建方法,能够有效提取相邻帧间的时空特征,提高重建结果的精度。本文的主要研究内容如下:(1)提出了一种多尺度时域3D卷积超分辨率重建方法,解决了视频超分辨率重建方法中对光流估计过于依赖的问题,能够在不计算光流的情况下完成视频超分辨率重建。该方法利用3D卷积能够对空间与时间同时建模的特点,并结合视频序列中的多个时间尺度,完成了对视频序列帧间时空特征的提取,通过利用序列帧之间的时间相关性及空间相关性信息,有效提升了重建帧的质量。实验验证表明,本文提出的方法相较于传统双三次插值方法及一些深度学习方法,在PSNR及SSIM等客观评价指标上均有所提升,在主观视觉效果上也能够重建出更丰富的细节纹理信息。(2)提出了一种基于广泛自注意力的视频超分辨率重建方法,解决了在较大上采样因子重建时细节信息丢失过多的问题,有效提升了重建结果的质量。该方法利用注意力机制对序列任务建模能力强的特点,提出一种广泛自注意力模块,能够保持较高维度的特征信息并进行大范围的映射,通过计算不同空间和通道上特征信息的权重,从众多特征中筛选出对目标更关键的特征,并以此完成视频超分辨率重建。实验验证表明,该方法在2倍、3倍、4倍上采样重建时,重建结果的客观评价指标均优于插值算法及VESPCN、SOF-VSR等深度学习算法,验证了该方法在大因子上采样重建时依然有较好的重建效果。(3)将本文研究的超分辨率重建方法应用于现实项目。在参与的《面向海量多源遥感数据处理的关键数学问题及其产业应用》项目中,以本文研究的超分辨率重建方法为核心设计实现了对应的功能模块,模块中拥有可视化界面与用户交互,包含数据获取、超分辨率重建、影像处理等功能设计。在日常生活及超高清工业等诸多领域均具有较高的实用价值。
其他文献
教育事业的优化与改革对高中数学单元教学模式提出了较高的要求,使教学单元设计成为基础教育阶段的重点内容.为了解决高中数学单元教学设计阶段的问题与不足,我们设置了有针对性的课程目标和教学标准,并采取了有效整改措施为单元教学设计实践活动提供助力保障.教师需要以培养学生数学核心素养为主要方向,强化各个单元之间的联系,提高高中数学教学活动质量,提升学生的数学核心素养水平.
期刊
在中国教育体制改革的深入发展中,各种具有科学性和系统性的教学方法也逐渐成为当前基础教育领域的一个热点。中学数学单元教学是以单元整体为研究对象,通过建立知识网络,拓展延伸相关知识,使教师对数学教学有更深层次的认识,掌握知识点之间的联系,对数学思维等多个层面进行思考,以实现核心素养教学,避免知识分解过度导致数学学习碎片化,学习质量和效益低下。单元教学背景下,高中数学教师要从一个个知识点或课时中跳出来,
会议
数学核心素养的提出是新教材新高考的核心要求,并且通过教材内容体现出来,从而在教学中培养学生的数学抽象、逻辑推理、数学运算、数字分析、数学建模等能力。而大单元教学也是新教材新教法的一必然趋势,因为要适应新教材新高考。本文以高一阶段学生作为研究对象,从教学实践出发,通过对该课题进行深入调查,并结合实际情况分析了当前教学过程以及学生会出现的一些问题。在理论联系实际基础上进行教学实践;
会议
在新课改的推动下,教育理念也发生了变革,学科核心素养培养日益受到关注,并进一步明确了教育教学的目标。高中数学核心素养主要包括数学抽象、逻辑推理、数学建模、数学运算、直观想象、数据分析这六个方面,各项素养之间互为影响又相互独立,因此教师应当依托单元教学设计,加强核心素养的协同培育,促进教学改革任务高效完成。文章基于核心素养培养背景,借单元教学设计对高中数学教学进行统筹安排,力求达到最佳的教学质效。
期刊
由于天气、光照以及采像设备质量等原因,往往难以获得期望要求的图像质量,通过更换成像设备的方式会导致成本过高,且仍受环境气候等影响,而通过软件算法提高图像质量的同时也能大大降低成本。为了提高图像质量,本文从图像亮度和分辨率角度出发,提出了基于改进注意力机制的低照度图像增强算法对图像的亮度进行增强,以及基于多尺度融合卷积神经网络的图像超分辨率重建算法以提升图像的分辨率,主要研究工作和成果如下:(1)针
学位
近年来,随着遥感图像处理技术的不断发展,高光谱图像分类在环境监测、国防军事、城市规划和农林农业等方面的应用得到了广泛关注,国内与国外的科研工作者也接连不断的提出了一些优秀的分类方法。但是由于高光谱图像存在特殊的高维性、相邻波段间的强相关性和数据结构的高度非线性及训练样本少等因素,使得目前对高光谱图像的分类依然存在诸多困难。本文针对高光谱图像训练样本少仅使用光谱特征分类容易造成Hughes现象的问题
学位
共识算法作为区块链的核心,其性能直接影响区块链系统的效率。行动证明共识算法(Proof of Activity,Po A)是一种结合工作量证明和权益证明的混合式算法,具有易扩展网络结构、处理事务速度更快等优点,但也存在节点间信任缺失、代表节点离线造成区块丢弃等问题。针对以上问题,本文提出了两种改进的共识算法,并设计了可溯源学业信息监管系统的共识框架和整体架构,具体研究内容如下:(1)针对Po A算
学位
人脸图像修复和超分重建作为图像处理领域中的组成部分,在实际场景中具有重要价值。人脸识别通过采集人脸图像识别人物身份,但由于物体遮挡、光线明暗、网络通讯等因素的影响,造成人脸图像出现局部遮挡和分辨率不足等问题,从而破坏面部特征信息,影响识别的成功率。现有基于深度学习的图像修复和超分重建技术虽然取得一定进展,但仍存在修复图像模糊、重建图像出现局部失真和高频特征缺失问题。为此,本文基于GAN对人脸图像进
学位
互联网用户的不断增加引起了文本数据的大量增长,以及评论文本中用词的多样化、复杂化,单纯地依靠专家经验,或者是人工检索来处理这些海量数据显然是不可行的,因此更加智能化的自然语言处理技术对于解决这一问题就显得尤为重要。随着研究的深入,情感分析技术在文本处理中多有应用,本课题以深度学习及多任务联合学习为基础,针对细粒度情感分析存在的问题,做出以下研究:(1)针对卷积神经网络只能获取局部单词间的依赖关系,
学位
图卷积网络具有能聚合和转换节点邻域内的信息生成节点表示的能力,因此受到广泛关注。分类任务作为评测模型嵌入效果的重要标准,是图分析任务里一个重要的研究方向。由于社交网络有连接复杂、噪声较多等因素,暴露了现有的模型存在依赖图结构、局部结构被忽略等问题,导致无法得到有效的特征表示。针对这些问题,本文基于图卷积网络对节点分类与图分类方法进行研究。具体工作概括如下:(1)针对现有图卷积网络在节点分类中依赖图
学位