信号的调制识别技术在通信系统模型的中间位置,它位于通信信号检测之后,信号的解调之前,在非协作通信环境中信号的调制识别是一个极为重要的关键技术。并且由于电磁环境愈加复杂,信道环境复杂多变,因此研究基于统计模式的信号自动识别技术中的两个关键模块就至关重要,即提取能够代表不同调制方式的通信信号的稳定特征,并且设计精度更高的分类器去适应更加复杂的环境是亟待解决的问题。本课题主要针对非协作通信过程中对敌方的信号进行侦查,为了在复杂噪声环境中确定敌方通信信号的调制样式,本课题研究了机器学习的方法,并将其应用于信号的调制样式识别当中。在识别过程中包括特征提取和分类器设计两个步骤,由于所提取特征的好坏程度需要通过分类器定量分析,因此,本文首先构建了一种基于粒子群算法与主成分分析联合优化的极限学习机网络作为分类器并将其应用于通信信号调制识别中,在此基础上,提取了信号的二维Holder系数特征,通过该特征对比了几种极限学习机分类器在不同信噪比情况下对信号识别的性能,仿真结果表明,本文构建的极限学习机网络的分类识别精度最高。其次,针对四类数字信号在信噪比较低时识别率较低的问题,将栈式自动编码器应用于通信信号特征提取中,并接入PCA-ELM分类器,构建了基于栈式自动编码器与极限学习机的深度学习网络,利用该网络提取信号时频图像的特征并同时达到识别信号调制样式的目的,仿真结果表明该方法在信噪比为-2～2d B时也能对信号进行有效识别。最后,针对时频分析与深度学习网络不足以用来识别FM信号、PM信号和16QAM信号的问题,本文提取了7类信号(FM、PM、2ASK、2FSK、BPSK、QPSK、16QAM)的香农熵特征、指数熵特征和范数熵特征构成三维熵特征模块,在此基础上,将三维熵特征与云模型理论结合,提取了信号的改进熵云特征,进一步提高了各类信号的类间分离度,并通过PSO-ELM-PCA分类器对提取的改进熵云特征进行分类,通过仿真显示当信噪比是-7～-3d B时也得到了比较理想的各类信号的识别结果。