基于深度学习的多源信息融合关键技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:B08050402
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像作为信息最直观的表达,应用广泛。随着前端数据采集传感器的发展,单源信息已不能满足日益复杂的需求。不同源图像具备不同特性,红外图像物体轮廓清晰、包含热度信息,但像素值低、细节缺乏;可见光图像与之相反。一个自然的想法,将这二者融合可获得更有价值的图像。另外,由于光学传感器成像原理的限制,单镜头无法保证画幅全对焦,将同视角下通过调整焦距获得不同景深目标的局部清晰图像对进行融合,以获得整体清晰的图像。本论文主要工作如下:1.在红外与可见光图像融合中,针对传统方法设计复杂、过程繁琐以及多数深度学习方法权重固定,鲁棒性差的问题,提出了基于生成对抗网络(GAN)的UNet++Fusion网络融合方法。生成器使用UNet++网络结构,判别器通过卷积层堆叠做二分类,二者进行博弈。损失函数引入多方向Sobel算子组提取源图与结果的梯度差,并使用可变参数调整对源图像的学习权重,引导图像生成。2.在多聚焦图像融合中,针对传统方法生成掩模边缘质量较差,无监督的深度学习方法训练困难的问题,提出了基于深度学习的掩模生成网络。将图像融合转化为图像分割任务。生成器生成分割掩模,条件随机场对生成掩模二次处理,得到最终掩模结果。使用语义分割开源数据集制作成对的多聚焦图像训练集进行有监督学习。视觉效果对比以及量化实验证明,UNet++Fusion结果有着丰富的细节信息,且与源图像相似度高,优于目前常见算法。多聚焦图像掩模生成网络结果经过条件随机场优化后有着清晰光滑的分割边界,生成的掩模质量优于其他基于掩模生成的融合算法。
其他文献
线性调频(Linear Frequency Modulated,LFM)信号,以其低截获率(Low Probability of Intercept,LPI)特性被广泛应用于各种雷达系统中,是一种应用极其广泛的辐射源信号。LFM信号的检测与参数估计算法已经相对成熟,不同的算法适用于不同的电磁场景,但它们大多只能估计LFM信号时频脊线的调制参数,而且存在估计精度与计算效率之间的矛盾。对于雷达系统中的
学位
由于浅海声传播特性复杂多变,因此浅海环境下水声目标定位技术一直是水声学领域的热点和难点。该技术的典型代表是匹配场处理,其在海洋环境参数已知条件下通过水声传播模型生成拷贝声场,与阵列接收数据进行匹配,实现目标定位。然而在实际应用中,海洋环境参数(声速剖面、海深、海底地质参数等)存在诸多不确定性,使得拷贝声场计算不准确,导致匹配场处理性能急剧恶化甚至失效。随着计算机图形处理单元运算性能的提高以及深度学
学位
随着人工智能和计算机视觉领域的快速发展,深度学习作为人工智能下的子学科在视觉分析任务中占据了重要位置。深度学习用包含大量神经元的神经网络来提取图像中有用的特征进行信息分析。利用深度学习的方法来进行图像分析已经形成了较为规范的分析框架,包括对网络模型的训练,学习输入到输出的关系映射,从而对未知的输入进行模式预测。该框架具有很强的通用性,通过较少的调整就能解决很多图像上类似的问题。医学是一个数据急剧增
学位
当前,随着数据以指数形式增长,大量的信息蕴含在其中,如何有效地利用其中的有用信息,从海量文本数据中自动的抽取出有用的信息,更为具体地,如何从文本中抽取出潜在的语义关系元组则成为了关键的问题。关系元组抽取任务就是为了专门研究和解决这一问题而提出的。根据预先定义的关系的种类数目的不同,关系元组抽取任务可以分为单关系元组抽取和多关系元组抽取。在单关系元组抽取任务中,本文以情感原因对的提取为例,针对现有模
学位
唇读,旨在通过说话者嘴唇及其周围区域的视觉信息,解码其所说文本内容,是计算机视觉领域的一个重要问题,在公共安防、健康医疗、军事情报等领域有着广泛的应用价值。近年来,深度学习技术的兴起、大规模唇读数据集的构建和计算机算力的提升极大推动了唇读研究进展,取得里程碑式的突破。本课题围绕唇部运动规律和深度网络结构特点,对基于深度学习的唇读方法进行探索研究,分别对当前主流唇读方法的特征提取前端网络和序列建模后
学位
电动舵传动系统是装备中用于高精度、高响应控制运行轨迹的关键设备系统。舰船电动舵传动系统的传动机构受盐碱环境腐蚀,其轴承等关键零部件出现的故障将对装备安全可靠服役产生重大影响。本文以电动舵传动系统为背景,重点研究低速往复运动的模拟实验台设计及滚动轴承智能故障诊断算法。文章首先提出了针对一维振动信号的多尺度卷积神经网络智能诊断模型,利用西储大学的轴承数据集验证了其优秀性能,并基于某型电动舵传动系统工作
学位
为了更加直观和清晰地观察患者体内正常和病变组织(即肿瘤),医师通常需要借助医学影像的辅助,为患者临床诊断和制定针对性的手术方案提供科学依据和必要准备。医生在进行手术之前,可以借助医学影像分割技术,从患者的影像学资料中,得到人体的器官与病变组织分割结果。分割技术能够增加医生对肿瘤病变情况的了解程度,同时帮助医生在完全切除肿瘤病变区域的前提下,尽量保护肿瘤周围的血管、神经等正常组织,并以此增加手术的成
学位
文学作品能够引发读者对于人性真、善、美的思考,因而具有独特的育人价值。本文聚焦英文小说类语篇,结合教学实例探讨如何挖掘小说类语篇的育人价值。在教学设计和实施中,教师可将育人与小说类语篇的文体特征及语言特点相结合,引导学生在探究语篇主题意义的过程中,辨析矛盾冲突,剖析人物心理和探析故事结局,学会认识和分析人性真、善、美及人与人之间关系的一些基本问题,从而促进思维的发展,达到育人目的。
期刊
当前,计算机相关技术在医学领域扮演了越来越重要的角色。而医学图像作为医学诊断中重要的组成部分,对于病患的病情判定,疾病的严重程度评估,以及康复预测等方面,都具有极其重要的意义。医学图像分割可以快速且准确的将医学图像中的病患区域和背景区域分割开,对于临床治疗和医学研究都有很好的辅助作用。深度学习的兴起大大提高了医疗图像分割的准确度,同时可以提取出医生很难定性定量的病理特征,甚至探究尚未发现的医学原理
学位
吸烟有害健康,在公共场所吸烟,不仅污染空气,还有着造成火灾等灾害的隐患。对于一些严禁吸烟的场所,如机场、加油站、化工仓库等,需要采取监督和检测手段监视吸烟行为。通过人工监管或者烟雾传感器等手段检测,不仅耗费人力物力,检测效果也不甚理想。为解决吸烟检测问题,本文设计了基于机器视觉的吸烟检测算法,通过摄像头捕捉视频帧,使用基于深度学习的目标检测算法检测吸烟行为。本文创新工作如下:首先,针对实时性检测问
学位