为降低干扰对通信系统的影响、保证通信的可靠性,抗干扰技术不可或缺。对不同的干扰类型,应采用具有针对性的抗干扰策略。抗干扰技术的效果关键在于对干扰信号的有效识别,因此本文主要研究通信干扰信号识别算法。为缓解训练样本较少而导致基于深度学习的通信干扰识别算法性能恶化的问题,提出了一种基于辅助分类器和变分自编码生成对抗网络的通信干扰小样本识别方法（Auxiliary Classifier Variational Auto-Encoding Generative Adversarial Network,AC-VAEGAN）。该算法以通信干扰信号的时频图为样本集,利用生成对抗网络和变分自编码器的核心思想设计了生成/识别模型,得到连续有意义的干扰样本集潜在空间;设计了编码器、生成器和鉴别器的损失函数,且鉴别器采用动态学习率的优化算法,使得模型训练过程更加有效且稳定。计算机仿真产生了单音干扰、多音干扰、脉冲干扰、跳频干扰、线性扫频干扰和二次扫频干扰等在干噪比为-10d B～18d B下的时频图的样本数据集,分别训练AC-VAEGAN、ACGAN和CNN,对这三个网络的识别性能测试结果表明,在小样本集情况下,AC-VAEGAN网络的正确识别率高于ACGAN网络和CNN网络。针对已有闭集识别方法错误识别未知通信干扰信号的问题,设计了适用于一维信号开集识别的网络结构——条件高斯编码器（Conditional Gaussian Encoder,CG-Encoder）。该网络采用残差网络结构的编码器,将采样序列信号作为样本集,依赖深度神经网络提取有用信息。训练已知类别在潜在空间中逼近不同高斯分布,增加了类间距离以提升对已知类别的识别性能;同时还设计了详细的开集识别算法。在以上6种干扰信号的基础上,增加了噪声调频干扰、BPSK调制干扰和QPSK调制干扰,计算机仿真产生了这9种干扰的时域信号作为样本数据集进行仿真实验。结果表明,CG-Encoder开集识别性能优于其他三种网络结构;当干噪比为0d B～18d B、开放度最大时,CG-Encoder开集平均正确识别率为70%以上;当干噪比为0d B～18d B、开放度最小时,CG-Encoder开集平均正确识别率可达95%以上。为实现通信干扰信号在开放空间中的识别,提出了基于孪生神经网络的开放识别（Siamese Neural Network-based Open World Recognition,SNN-OWR）算法,首创性地联合实现了已知干扰类别的识别和新型（未知）干扰的无监督分类。该算法采用了成对样本闭集训练方式,一方面要求网络具有区分两个样本是否为相同类别的能力,另一方面迫使已知类别的潜在分布逼近各自独有的高斯分布。设计了基于高斯概率密度函数阈值的未知类别检测算法和利用已知类别先验知识实现未知干扰无监督识别算法。用上述9种干扰时域信号数据集和公开的调制信号数据集共同验证了该算法的开放识别效果。结果表明,当干噪比大于0d B时,SNN-OWR算法对已知干扰识别正确率可以达到92%以上;当干噪比为10d B、开放度为0.106时,SNN-OWR算法得到的类别数与实际类别数基本一致,未知干扰的无监督分类的F1分数可达88%以上。