面向少样本学习的深度神经网络设计及应用

被引量 : 0次 | 上传用户:niklausxiang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
深度神经网络(Deep Neural Network)的快速发展和进步是近年来人工智能技术进步的重要基础之一,其应用已经逐渐深入到我们日常生产和生活的方方面面。深度神经网络取得成功的因素是多方面的,其中最重要的三个方面:一是信息技术的飞速发展为深度神经网络的学习和训练提供了大量的数据;二是大量深度学习(Deep Learning,DL)算法的提出解决了大规模网络结构和数据下的网络训练问题;同时计算机算力的突破也使得训练大规模神经网络成为了可能。然而在多数实际工业场景中,有效样本的获取是十分困难的,传统的深度神经网络从网络结构、训练算法上都难以适应少样本的场景,这严重地制约了深度神经网络的应用。因此研究如何设计和训练深度神经网络解决少样本问题,在理论和实际应用上都具有十分重要的意义。针对传统深度神经网络的结构和算法难以适用于少样本场景的问题,本文从基于少样本的深度神经网络结构设计、训练算法设计、特征提取机制优化、样本生成模型的设计等角度进行了研究。最后将设计的深度神经网络模型在烟雾和火焰检测以及放空火炬燃烧状态异常检测等大气环境感知场景上进行了应用验证。本文的具体研究内容和创新点包括:(1)设计了一种基于标准化流的样本生成模型针对少样本学习中样本不足的问题,设计了一个基于标准化流的样本生成模型,旨在于现有样本的基础上,建立一个可逆的分布变换模型,用来生成符合样本总体分布特征的新样本,从而缓解样本不足的问题。设计的标准化流模型在构建的时候考虑了变换的可逆性和计算的简便性。同时,模型可以根据已有的样本生成具有较大特征区间的可信样本,增强样本的差异性。(2)设计了一类基于混合注意力机制的通用神经网络结构针对当前常用的卷积神经网络在处理少样本学习问题时容易因为提取的特征中含有大量冗余,从而导致网络过拟合问题,设计了一种可嵌入深度卷积神经网络的混合注意力机制。首先对通道注意力机制(Channel Attention)和空间(Spatial Attention)注意力机制进行了研究,然后在此基础上,通过加入非线性的特征混合机制设计了混合注意力机制模块。该模块可以嵌入到常见的卷积神经网络中,提高网络的精度,同时不会明显增加网络的训练参数。(3)设计了基于元学习和度量学习的神经网络模型针对直接采用深度网络模型建立样本和标签之间的非线性映射的方法在少样本学习上的精度不高的问题,设计了一种基于元学习和度量学习的深度神经网络模型。模型首先利用了快闪(Snap-Shot)的方法,在一个训练周期内生成多个参数模型,然后用原型网络(Prototypical Networks)方法构造了一个样本类别特征的度量空间,最后用少样本学习训练方法(Model-Agnostic Meta-Learning,MAML)反复调整度量空间的度量精度。设计的模型在少样本数据集上表现出了优越的性能。(4)研究了面向少样本的深度神经网络特征提取机制的优化方法针对传统深度卷积神经网络在特征提取过程中预设特征分布规律(高斯分布),从而导致在少样本问题上难以准确的提取关键特征的问题,提出了一种基于主动视觉机制的新型池化框架用来优化深度神经网络在少样本问题上的特征提取机制。相比较于传统神经网络多采用的均值池化或者最大池化,模型首先设计了一个通用的池化框架用,该框架可以涵盖当前主流的池化方法并且可以生成新的池化方法,从而丰富神经网络训练过程中的特征筛选机制。其次,利用主动视觉的思想,在多种池化方法中根据设计的池化选择策略和网络学习的误差返回的结果选择合适的池化方法。少样本数据集上的实验结果表明,设计的特征提取机制取得了更好的分类准确率。(5)研究了基于少样本的烟雾和火焰检测模型火灾和其他燃烧场景对于公共安全和大气环境具有重要的影响。针对其关键特征烟雾和火焰的检测容易受到背景和光线复杂多变、容易受到噪声干扰导致的模型精度不高的问题,首先在前文研究的基础上提出了一个基于一阶统计特征和混合注意力机制的深度神经网络,其次采用了元学习的训练方法,形成了一个烟雾和火焰检测模型,最后将设计的模型在烟雾检测公共数据集和提出的烟雾/火焰数据集上进行了验证,证明了模型的有效性和优越性。(6)设计了基于少样本学习的放空火炬燃烧状态监控系统为了使放空火炬安全高效的燃烧,需要对其实时燃烧状态进行精确的检测。为此,首先建立了一个基于少样本学习的放空火炬燃烧状态监控系统。该系统以混合注意力神经网络为特征提取的基本网络结构,利用本论文设计的基于主动视觉的池化方法优化了网络的特征提取机制,同时采用了元学习和度量学习优化了提取的特征的利用方式。其次,本文利用建立的烟雾和火焰检测模型的训练结果对网络进行参数初始化,并在提出的放空火炬数据集上进行了模型微调。最后,系统结合红外图像处理和专家知识构建了燃烧状态多重验证的判断模型实现了对放空火炬燃烧状态的精准监控。
其他文献
泰山赤鳞鱼作为名贵保护淡水鱼种,具有极高的医用和营养价值,但在自然环境下生长缓慢,并且对生存环境有一定要求。投喂是赤鳞鱼规模化养殖的必要环节,利用机器视觉分析和对比投喂前后的行为信息,为养殖智能化投喂策略制订提供参考,本文作出主要研究内容及结论如下:(1)提出基于卷积神经网络YOLOv5的赤鳞鱼目标检测方法,首先通过采集赤鳞鱼图像样本并进行数据增强,共获取2000幅样本,进行赤鳞鱼框标定并完成数据
学位
随着智能化、信息化的普及,图像作为最直观反映实时信息的媒介,在我们的生活中扮演着越来越重要的角色,但由于实际场景中频繁发生的大雾天气,严重影响了智能设备采集图像的清晰度,从而阻碍后续高级视觉任务的有效进行。因此,人们开始不断致力于研究图像去雾技术来改善模糊图像质量。本文基于卷积神经网络结构,针对国内外现有图像去雾方法存在对模糊图像纹理细节还原精度不足,网络信息过载,以及单图像去雾效率偏低、缺少对真
学位
信道特性的差异是无线通信与有线通信最核心的差异之一,无线信道为电磁波的传输提供了直接的载体和介质,它的特性直接影响整个无线通信系统的性能。因此,认识、理解、利用无线信道,是设计研发新一代无线通信系统的基础。由于实际无线信道非常敏感、无法控制和不可重复,在真实环境下对研发的无线通信基站、终端以及对应的无线通信算法直接进行测试和验证,不是一种有效的方法,需要研发无线信道模拟器来满足系统性能的全面考核。
学位
水稻(Oryza sativa)是人类赖以生存的粮食作物,保护其免受病虫害侵袭并实现保质稳产极其重要。植物内生菌,尤其是内生放线菌,因具有高产多种代谢产物、抑制病原微生物生长、协助宿主抗逆抗病等特性,成为生物防治手段中备受关注的微生物资源。但目前关于内生菌与病原菌、内生菌与宿主之间的分子互作机制还知之甚少,需要进行更为完整的解析。本论文以课题组前期分离得到的一株具有显著抗稻瘟病效果的水稻内生吸水链
学位
行人检测与重识别工作是计算机视觉领域的研究热点,旨在研究不重叠的多个摄像区域间对于行人的检测以及对特定行人的匹配,多应用于智能城市建设以保障出行安全。但复杂环境下获取的数据往往存在姿势问题、遮挡问题、照明问题、视角问题、背景问题、分辨率问题以及其他开放性问题,本文将针对以上挑战和难点开展研究工作,以促进行人检测与重识别技术在智能城市中的广泛应用,为“平安城市”的建设工作助力。本文基于深度学习技术,
学位
对抗攻击是指将精心设计的噪声叠加到一个被正确分类的干净样本上,使神经网络做出错误分类。基于硬标签的对抗攻击方法通过向目标神经网络发送查询,仅利用硬标签信息,便可以生成对抗样本,实现攻击目标。由于现实世界中,攻击者并不知道神经网络输出的概率分布,往往只能得到硬标签,所以评估神经网络对基于硬标签的黑盒攻击下的鲁棒性更加符合实际。基于硬标签的黑盒对抗攻击方法主要分为两大研究方向:(1)对处于决策边界的对
学位
报纸
含铬废水治理是水体修复的研究重点之一。近年来,微生物法因简单有效、低成本、绿色化等优势倍受关注。已有研究表明重金属污染环境中的微生物受重金属胁迫上调表达重金属抗性基因(MRGs)的同时间接上调表达了抗生素抗性基因(ARGs),使微生物同时具备重金属抗性和抗生素抗性。含铬废水微生物治理过程是主动将铬还原菌暴露在重金属铬环境下对Cr(VI)进行还原,该过程可能上调表达ARGs。抗生素抗性一旦产生,其A
学位
随着深度学习在人工智能中的广泛应用,其自身的安全性问题也逐渐暴露。深度学习的安全性直接影响着其在不同领域应用的有效性,因此其安全问题已经成为学术研究的焦点,特别是在对抗样本攻击与对抗样本的生成方面。有效的攻击算法可以对深度学习模型的安全性进行评估,对于网络安全保护具有重要的研究意义和社会价值。本文针对现有的对抗样本攻击存在普适性不强,生成对抗样本时需要大量访问被攻击网络、查询次数多、攻击点较难选择
学位
随着智能电网的快速发展,电力系统对变压器质量的要求也在不断提高。变压器线圈的绕制技术是生产和制造的核心工艺。目前国内广泛使用的是人工绕线机绕制变压器线圈,但是变压器绕组的绝缘性能、匝间间隙、导线压紧力等参数很难被精确地控制,这导致了变压器在运行的过程中经常出现绝缘破损、匝间短路等故障。本文针对此问题,提出了一种变压器绕线机器人工作站的设计方案,并针对工作站中关键电气控制技术进行优化研究,包括开卷机
学位