在民用通信中,通过自动调制识别可以减少信令传输开销,提高通信链路的频谱效率和传输可靠性;在军事通信中,可以通过获取敌对信号的调制类型,制定相应的干扰或反干扰策略。基于深度学习的调制识别神经网络将特征提取器和分类器进行综合学习,充分提取信号特征的同时提高分类能力,调制识别性能远远超过传统算法;而且在不同数据库上良好的识别性能体现了其强大的学习和适应能力。因此,随着神经网络的蓬勃发展,自动调制识别技术成为了研究的热点。首先,针对经典神经网络感受野受限和时间复杂度高等问题,本文基于Transformer的并行计算结构以及对长期依赖优秀的建模能力,提出一种全新的Transformer-Encoder调制识别模型。在Radio ML2018.01a数据库上比最优经典模型MC-Net的平均识别性能提高了6.2%,并且时间复杂度降低了54%。由于Transformer-Encoder模型需要大量训练数据才能体现出其优秀的识别性能,所以在Radio ML2016.10a数据库上比最优经典模型MCLDNN的平均识别性能低了1.9%,因此本文提出了CNN与Transformer相结合的C-TNet模型,通过CNN先天具备的偏置归纳能力提升网络模型的识别性能。在Radio ML2016.10a数据库上比MCLDNN模型的平均识别性能提高了0.2%。进一步,基于RNN的LSTM网络能够更好地对时间特征的长期依赖建模,提出了结合RNN、CNN以及Transformer特点的CL-TNet模型,弥补了C-TNet模型在提取时间特征方面的不足,使不同的网络结构之间优势互补。在Radio ML2016.10a数据库上CL-TNet模型不仅比MCLDNN模型的平均识别性能提高了0.5%,而且在Radio ML2018.01a数据库上比MC-Net模型的平均识别性能提高了7.7%,证明本文提出的CL-TNet调制识别算法模型具有更好的识别性能和泛化能力。最终,针对调制识别领域内有标签数据稀缺而导致神经网络无法学习到有效特征的问题,而在计算机视觉领域通过各种预训练方法有效解决了此问题,所以将预训练方法有效迁移到调制识别领域,对本文提出的CL-TNet模型与TransformerEncoder模型分别进行了全监督与无监督条件下的预训练,相比未经预训练的模型平均识别性能分别提升了0.6%和0.5%,表明预训练模式不仅能够提高模型的识别性能,而且无监督预训练提升了模型的实用性。