论文部分内容阅读
深度神经网络(Deep Neural Network)的快速发展和进步是近年来人工智能技术进步的重要基础之一,其应用已经逐渐深入到我们日常生产和生活的方方面面。深度神经网络取得成功的因素是多方面的,其中最重要的三个方面:一是信息技术的飞速发展为深度神经网络的学习和训练提供了大量的数据;二是大量深度学习(Deep Learning,DL)算法的提出解决了大规模网络结构和数据下的网络训练问题;同时计算机算力的突破也使得训练大规模神经网络成为了可能。然而在多数实际工业场景中,有效样本的获取是十分困难的,传统的深度神经网络从网络结构、训练算法上都难以适应少样本的场景,这严重地制约了深度神经网络的应用。因此研究如何设计和训练深度神经网络解决少样本问题,在理论和实际应用上都具有十分重要的意义。针对传统深度神经网络的结构和算法难以适用于少样本场景的问题,本文从基于少样本的深度神经网络结构设计、训练算法设计、特征提取机制优化、样本生成模型的设计等角度进行了研究。最后将设计的深度神经网络模型在烟雾和火焰检测以及放空火炬燃烧状态异常检测等大气环境感知场景上进行了应用验证。本文的具体研究内容和创新点包括:(1)设计了一种基于标准化流的样本生成模型针对少样本学习中样本不足的问题,设计了一个基于标准化流的样本生成模型,旨在于现有样本的基础上,建立一个可逆的分布变换模型,用来生成符合样本总体分布特征的新样本,从而缓解样本不足的问题。设计的标准化流模型在构建的时候考虑了变换的可逆性和计算的简便性。同时,模型可以根据已有的样本生成具有较大特征区间的可信样本,增强样本的差异性。(2)设计了一类基于混合注意力机制的通用神经网络结构针对当前常用的卷积神经网络在处理少样本学习问题时容易因为提取的特征中含有大量冗余,从而导致网络过拟合问题,设计了一种可嵌入深度卷积神经网络的混合注意力机制。首先对通道注意力机制(Channel Attention)和空间(Spatial Attention)注意力机制进行了研究,然后在此基础上,通过加入非线性的特征混合机制设计了混合注意力机制模块。该模块可以嵌入到常见的卷积神经网络中,提高网络的精度,同时不会明显增加网络的训练参数。(3)设计了基于元学习和度量学习的神经网络模型针对直接采用深度网络模型建立样本和标签之间的非线性映射的方法在少样本学习上的精度不高的问题,设计了一种基于元学习和度量学习的深度神经网络模型。模型首先利用了快闪(Snap-Shot)的方法,在一个训练周期内生成多个参数模型,然后用原型网络(Prototypical Networks)方法构造了一个样本类别特征的度量空间,最后用少样本学习训练方法(Model-Agnostic Meta-Learning,MAML)反复调整度量空间的度量精度。设计的模型在少样本数据集上表现出了优越的性能。(4)研究了面向少样本的深度神经网络特征提取机制的优化方法针对传统深度卷积神经网络在特征提取过程中预设特征分布规律(高斯分布),从而导致在少样本问题上难以准确的提取关键特征的问题,提出了一种基于主动视觉机制的新型池化框架用来优化深度神经网络在少样本问题上的特征提取机制。相比较于传统神经网络多采用的均值池化或者最大池化,模型首先设计了一个通用的池化框架用,该框架可以涵盖当前主流的池化方法并且可以生成新的池化方法,从而丰富神经网络训练过程中的特征筛选机制。其次,利用主动视觉的思想,在多种池化方法中根据设计的池化选择策略和网络学习的误差返回的结果选择合适的池化方法。少样本数据集上的实验结果表明,设计的特征提取机制取得了更好的分类准确率。(5)研究了基于少样本的烟雾和火焰检测模型火灾和其他燃烧场景对于公共安全和大气环境具有重要的影响。针对其关键特征烟雾和火焰的检测容易受到背景和光线复杂多变、容易受到噪声干扰导致的模型精度不高的问题,首先在前文研究的基础上提出了一个基于一阶统计特征和混合注意力机制的深度神经网络,其次采用了元学习的训练方法,形成了一个烟雾和火焰检测模型,最后将设计的模型在烟雾检测公共数据集和提出的烟雾/火焰数据集上进行了验证,证明了模型的有效性和优越性。(6)设计了基于少样本学习的放空火炬燃烧状态监控系统为了使放空火炬安全高效的燃烧,需要对其实时燃烧状态进行精确的检测。为此,首先建立了一个基于少样本学习的放空火炬燃烧状态监控系统。该系统以混合注意力神经网络为特征提取的基本网络结构,利用本论文设计的基于主动视觉的池化方法优化了网络的特征提取机制,同时采用了元学习和度量学习优化了提取的特征的利用方式。其次,本文利用建立的烟雾和火焰检测模型的训练结果对网络进行参数初始化,并在提出的放空火炬数据集上进行了模型微调。最后,系统结合红外图像处理和专家知识构建了燃烧状态多重验证的判断模型实现了对放空火炬燃烧状态的精准监控。