基于卷积神经网络的SAR与多光谱图像融合算法研究

来源 :合肥工业大学 | 被引量 : 0次 | 上传用户:xuezhenlong0310
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着各国遥感技术的蓬勃发展,遥感卫星的数目越来越多,其空间、时间和光谱分辨率均大幅度提升,在军事侦察、资源调查、灾害监测等领域发挥着越来越重要的作用。由于单一传感器只能提供有限的信息量,为了充分利用多源传感器的数据,图像融合应运而生,合成孔径雷达(Syntheic Aperture Radar,SAR)图像和多光谱图像融合就是其中一个研究热点。SAR图像与多光谱图像融合的关键在于如何提取SAR图像的空间信息以及如何注入这些信息而不引起融合图像的光谱失真。传统的融合算法由于模型本身的局限性很难在光谱保持和空间细节提升之间达到平衡。为此,本文展开了基于卷积神经网络的SAR与多光谱图像融合算法研究,研究内容主要包括:1、针对SAR图像与多光谱图像的融合结果中存在的颜色失真和空间细节模糊问题,提出了一种基于双分支卷积神经网络的SAR与多光谱图像融合算法。该算法通过设计光谱保持和细节提升双分支网络以及引入特征提取、融合和重建的融合方案,实现SAR与多光谱图像的融合;同时设计光谱损失函数和细节损失函数来控制SAR信息的注入,使得融合结果在光谱保持和空间细节提升两方面得到较好的均衡。2、针对SAR与多光谱图像深层特征中不同空间位置和不同通道维度信息的差异性,提出了一种基于注意力模型的SAR与多光谱图像融合算法。该算法设计空间注意力模型和通道注意力模型分别赋予深层特征中不同空间位置的点和不同通道的特征图以不同的权重值来实现深层特征重新标定,从而使得深层特征更好地融合。论文采用哨兵1号卫星SAR数据和Landsat-8卫星多光谱数据进行实验,并与IHS、Wavelet、IHS_NSST_SR、NSCT_AVG和RSIFNN方法进行比较分析。实验结果表明:与现有的融合算法相比,本文所提算法不论主观评价还是客观评价都有了明显提高,在光谱信息保持和空间细节提升两方面取得良好效果。
其他文献
随着无人机和计算机视觉的快速发展,基于无人机的智能目标跟踪系统在交通监控、军事反恐侦察和森林防护等很多领域均有广泛应用。航拍视频中的目标跟踪有以下特点:1)目标仅由几个像素组成,其大小与噪声非常相似;2)安装有摄像机的无人机设备的运动是任意的、不受约束的;3)感兴趣目标相对于摄像机的运动是独立的,因此有时物体可以在任意点离开或进入摄像机的视场;4)物体的外观和形状因光照和姿态的变化而变化;5)相机
高光谱遥感图像分类是遥感图像自动理解的一项基本任务,也是深度挖掘遥感信息的前提保障,在自然灾害检测、地理图像检索、环境监测等领域有着广泛的应用。随着遥感卫星技术的日新月异,获得遥感图像分辨率愈来愈高,也正因为遥感图像分辨率不断提高,可以从图像中提取更多有用的信息。然而,由于高光谱遥感图像的分辨率不断提高,其图片复杂的空间结构和信息冗余都为场景分类任务带来新的挑战:不同场景类别之间不仅存在一些相同的
社会关系作为我们日常生活中的基本关系,是人类社会特有的现象,随着各类社会媒体的发展,社会关系有了更加直观的表现形式,识别图像视频数据中的社会关系,对分析社会行为来说至关重要。然而,面对如此海量的图像视频数据,如何高效地对复杂场景中的特征和交互信息进行形象化的描述,进而准确地识别社会关系,仍然是一个具有重大挑战性的任务。现有的社会关系识别方法虽然能够识别出场景中的社会关系,但是仍然存在一定的局限性。
基于信道状态信息(CSI)的动作识别近年来发展迅速,与基于图像,穿戴设备等方式的动作识别相比它具有保护隐私,无需光照,方便等优点。但是目前大多数CSI动作识别系统在新环境中使用或识别新类型的动作时,都需要重新收集大量样本并重新训练模型,这大大降低了CSI动作识别的实用性。为了解决这个问题,本文设计了一种基于元学习的CSI动作识别系统,当将其用于新环境或识别新类型的动作时,它只需很少的数据对模型进行
合成生物元件(Bio Brick)是符合合成生物学装配标准的基因片段。合成生物元件数量急剧增长导致数据质量问题变得复杂而有争议。本文通过比较多种机器学习方法,构建数据驱动的合成生物元件质量评估方法,减轻领域内研究人员逐一判断合成生物元件质量的负担。本文从被分类模型准确识别的能力以及与同类型数据形状保持一致的能力,即准确性和一致性两个维度提出合成生物元件质量评估方法。(1)基于准确性的合成生物元件数
多源遥感图像融合是指将同一区域不同传感器的多幅遥感图像加以综合,通过特定的技术合成一幅新图像的过程。合成孔径雷达(Synthetic Aperture Radar,SAR)和多光谱图像因成像机理不同,而具有较大的差异。SAR图像具有强大的穿透力,不受恶劣天气影响,能够全天时全天候成像,表征丰富的地表纹理和结构特征。多光谱图像含有丰富的光谱信息,可以有效识别不同类型的地物信息,具有优越的目视效果。因
协同过滤技术由于其灵活性、高性能等特点被广泛应用在推荐系统中。传统的协同过滤方法基于矩阵分解的方式,对用户和产品表征进行建模,以获得用户对产品个性化的兴趣偏好,但是其性能往往受限于用户评分数据的稀疏性。近年来,随着图卷积网络的发展,基于图的推荐算法成为了研究热点。图卷积网络通过迭代式的邻居聚集方式将图结构信息编码在节点表征中,可以有效的缓解评分数据的稀疏性问题。尽管基于图卷积网络的推荐算法在推荐精
光学成像技术作为人们认识世界的一种视觉方式,已经成为现代社会科技发展一个重要的方向。随着科技的迅速发展,如何解决复杂场景的散射介质视觉成像和获取有效的信息进行目标重建成为当下研究的热点话题。由于光在传输过程中散射效应是无法避免的,光携带的目标信息会发生畸变,因此,传统的光学成像技术受限,造成成像模糊、散斑等问题。近年来,偏振信息与光的强度、相位、波长这三个基本属性应用的领域越来越广泛。偏振信息已被
视频行为分析是计算机视觉领域重要的研究课题,在智能安防、医疗监护、人机交互、虚拟现实、自动驾驶等领域有着广泛的应用价值,其目的是利用计算机检测视频序列中运动数据获得符号化的动作信息,然后从动作符号中抽取动作特征并进行理解从而实现动作分类或检测。然而,由于视频内容的复杂性和行为的多样性,行为分析任务面临着巨大挑战。现有的视频分析方法虽然能够较好地完成相应视觉任务,但是存在一定的局限性。现有识别和检测
随着对地观测技术的不断更新,高分辨率遥感图像的数据量飞速增长,如何高效的从海量遥感图像中提取有价值的信息是遥感从业人员亟待解决的问题。语义分割为高分辨率遥感图像中的每个像素指定一个明确的土地覆盖类别,现已成为地物信息判读的主流方法,并在土地资源规划、环境保护和自然灾害监测等领域发挥着至关重要的作用。由于应用场景的不断拓宽,依赖手工设计特征的传统图像分割算法难以应对日益复杂的遥感图像分割任务需求。因