通信信号的自动调制识别（Automatic Modulation Classification,AMC）被广泛应用于战场通信侦察对抗及无线电频谱监测等军事和民用领域。最近深度学习在AMC中显示出较好的应用效果,克服了传统AMC方法中依赖专家经验的“特征工程”的缺陷。然而,现有深度学习AMC的方法大都依赖海量标记数据,且要求决策场景与训练场景有较强的一致性,在现实复杂电磁环境下应用局限。针对该问题,本文借鉴大脑的模块化结构和自动导航认知的特点,将多个神经元封装成胶囊,构造新型信号胶囊网络模型（Signal Capsule Network,SCN）。SCN以模块化的信号胶囊代替简单神经元、以自适应路由选择代替固定池化、以向量输出代替单一预测,可在较少数据量下达到较好的泛化性能。具体的,本文提出三种信号胶囊网络模型用于解决AMC问题:1.设计了一种基于复数信号胶囊网络（Complex Signal Capsule Network,CSCN）的调制信号识别方法。针对通信调制信号低信噪比时识别准确率较低的问题,设计了联合处理调制信号IQ双通道数据的复值卷积模块,然后将获得的复值卷积特征构造成信号胶囊后形成主胶囊层,再级联数字胶囊层。由于复数卷积可提取到IQ数据丰富的表征特征,复数信号胶囊网络能够充分利用这些特征并取得足够的泛化性能。将所设计的方法在公开调制信号数据集RML2016.10a和RML2016.10b上进行验证与对比分析,实验结果显示:与其他深度网络相比,CSCN模型在训练数据量只有10%条件下,在-6～10d B信噪比下分别有0.8%～6.92%和4.64%～6.4%的提升。2.设计了一种基于时序注意信号胶囊网络（Time Series Attention Signal Capsule Network,TASCN）的调制信号识别方法。针对前述工作中未充分挖掘信号时序信息的问题,设计了基于LSTM单元和前馈注意力机制的信号胶囊网络。首先对IQ数据采用极坐标变换的方式得到其幅相信息,组合后先采用LSTM提取其时序特征,然后构造前馈注意力模块进行特征的自适应聚合,再经由主胶囊层和数字胶囊层输出分类结果。由于IQ双通道是包含时序关联信息,时序注意信号胶囊网络可以充分利用到这些时序信息来增强模型的识别性能。将所设计的方法在公开调制信号数据集RML2016.10a和RML2016.10b上进行验证与对比分析,实验结果显示:与其他深度网络相比,TASCN模型在训练数据量只有10%条件下,在-6～10d B信噪比下分别有11.16%～18.98%和15.18%～17.12%的提升。相比上一章方法分别有10.43%和10.07%的提升。3.设计了一种基于孪生双向时序信号胶囊网络（Siamses Bidirectional Time-series Signal Capsule Network,SBTSCN）的调制信号识别方法。针对更少数据下胶囊网络无法获得相对准确AMC结果的问题,设计了孪生结构的双向时序信号胶囊网络。首先,使用双向LSTM网络来增加对数据上下文时序关联信息的提取,其次设计了孪生信号胶囊网络通过孪生结构来提取调制信号的判别特征,最后通过随机森林对提取的特征进行调制分类。由于孪生结构的输入采用数据对的方式,可以使用尽少的数据通过不同组合方式增加数据对的数量,孪生双向时序信号胶囊网络可以从较少数据中提取到有效特征。将所设计的方法在公开调制信号数据集RML2016.10a和RML2016.10b上进行验证与对比分析,实验结果显示:与其他深度网络相比,TSACN模型在训练数据量只有5%条件下,在-6～10d B信噪比下分别有10.84%～23.79%和10.13%～52.25%的提升。