通信信号调制识别作为无线通信系统接收端的关键技术,在认知无线电、频谱监测等领域都有着重要的应用价值。随着通信场景的复杂化以及调制方式的多样化,传统基于似然函数比和信号特征的调制识别方法愈发复杂,难以满足未来高可靠低时延的无线通信需求。如何将机器学习方法应用到调制识别任务中,结合数据分布特点,实现高效率的准确识别,是论文研究的重点内容。将机器学习方法应用于调制识别问题中,不可忽视的关键问题之一就是大量训练样本的获取问题。例如,在多输入多输出（Multiple-input Multiple-output,MIMO）空间相关信道中,天线间的相关性给信道模型建立与样本获取带来了许多困难。因此,如何充分利用已有的信号样本,深入挖掘特征信息,实现调制信号的准确识别是目前面临的主要工作。基于此,本文提出了基于主动迁移学习（Active Transfer Learning,ATL）的调制识别方法。首先,在源域中,利用已有的高斯信道下充足的数据样本对卷积神经网络（Convolutional Neural Network,CNN）模型进行预训练。之后,将预训练好的参数迁移到目标域的MIMO空间信道下,通过参数共享实现已有知识的充分利用。同时,结合主动学习方法,利用查询函数寻找包含信息量最多的未标记样本数据,将其标记后加入到目标域训练集中,并去除掉不符合目标域特征分布的数据样本。实验表明,本文所提出的方法能够有效选取重要的信号样本,在信号样本有限的条件下实现调制信号的准确识别,降低对大量样本进行标记的代价。目前,基于机器学习的调制识别方法往往存在分类不均匀性的问题,即当平均识别精度较高时,仍有部分易于相互混淆的调制信号难以进行区分,严重阻碍了模型的实际应用。针对这一问题,本文提出一种基于半监督结构的调制识别方法。该方法将无监督聚类与有监督分类识别相结合。首先,采用稀疏自编码器（Sparse Autoencoder,SAE）对信号样本进行降维和特征提取处理,之后,采用模糊C均值（Fuzzy C-means,FCM）聚类将具有较大相似度的样本划分为一簇,将差异性较大的样本相互进行区分。最后,我们将信号样本的浅层特征与深层特征进行结合,对于混合簇采用CNN模型进行进一步的有监督分类识别。实验表明,相比于已有的机器学习方法,所提算法能够突破神经网络的次优性能,有效克服分类不均匀性问题,并具有一定的应用价值。