近年来,恐怖袭击在国内外频繁发生。传统的安检探测设备仅能探测出金属物品,对隐藏危险物的检测识别通常是由人工完成,不仅费时费力,而且漏检率高。基于太赫兹图像的隐藏危险物检测可穿透衣物,发现藏匿的金属及非金属危险物,且其光子能量较低,具有安全、快速、可靠等优点。本文将机器学习技术用于太赫兹图像隐藏危险物检测与识别,针对太赫兹图像数据集具有的非平衡和小样本等问题,研究了基于深度学习的非平衡小样本异物检测识别方法,主要研究内容如下:1.针对太赫兹图像数据集的非平衡问题,提出了一种基于集成深度神经网络的人体异物检测识别方法。首先采用传统的数据变形方法对整体数据和少数类数据进行初增强,提出一种深度卷积自编码残差网络对数据进行再增强,在一定程度上缓解样本的非平衡性;然后设计集成深度神经网络模型,集成三种预训练模型进行自动提取特征,通过自适应样本加权集成训练网络以提升分类器泛化能力,并对特征提取结果进行投票,将投票结果送入检测网络进行边框回归处理得到最终检测结果;训练时对少数类的分类损失增加惩罚权重。通过多组对比实验可以验证:所提出的方法能在非平衡数据条件下进行准确的异物检测,在平均均值精度上相较于对比方法提升了13%-20%。2.针对太赫兹图像标记样本少的问题,提出了一种基于间隔最大化的深度孪生网络异物检测识别方法。构建了具有两个卷积子网络的孪生网络,通过输入相同类与不同类的样本对来扩增训练样本数目,定义间隔最大化损失,学习出具有保距性质的判别性特征。考虑样本分布、不同维度间相关性和尺度的差异,使用马氏距离度量样本间相似度,在预训练时权值共享且使用对比损失函数,训练分类网络时使用间隔最大化损失函数。多组对比实验结果表明,本方法能对小样本数据进行准确的检测识别,在平均分类精度上达到了93.89%。3.针对太赫兹图像数据标记样本少带来的过拟合问题,在间隔最大化深度孪生网络的基础上,提出了一种基于卷积自编码(CNN,Convolutional Neural Network)与长短时记忆网络(LSTM,Long Short-Term Memory)的深度伪孪生网络异物检测识别方法。构建的网络具有两个分支网络,一个为CNN分支网络,其作用是有效地学习样本局部特征与全局特征间的潜在特点;另外一个为LSTM分支网络,其作用是将不同维度的信息构成序列输入网络中,希望可以学习到不同维度之间潜在的关系,提高模型的泛化能力。预训练时两个分支网络权重不共享,通过训练使得不同类的样本分类边界远离样本。通过多组对比实验可知该方法在整体分类精度上有提升,在平均分类精度上达到了95.58%。