为了适应越来越复杂的电磁环境,调制方式已由单一向复杂转变。鉴于复杂调制信号具有抗干扰能力强,低截获概率等优点,对复杂调制信号的研究和识别成为现代信号侦察处理的热点问题之一。本文就是基于上述背景,对复杂调制信号中的OFDM多载波调制信号和FSK/PSK复合调制信号进行了研究。首先对调制识别中分类特征提取的方法进行了详细分析并仿真,比较了各自的优缺点;在此基础上,提出了一种综合分类特征的算法,并采用不同的分类器成功实现了OFDM和单载波调制信号之间的识别以及MASK(M=2,4,8)、MPSK(M=2,4,8)、MFSK(M=2,4,8)和MQAM(M=16,64)11种单载波调制信号的识别,分析了各分类器的识别性能。仿真结果表明,在信噪比大于10dB时,各信号的正确识别率达到了95%以上,而且分类器或分类决策的选择需要综合多个因素考虑;最后研究了FSK/PSK复合调制信号的识别,并且将MFSK信号分成两种情况:相位连续FSK调制(CPFSK)和相位不连续FSK调制(DPFSK)进行了讨论。在研究FSK/PSK和DPFSK的识别时,本文首先基于高阶累积量和小波脊线相结合的方法估计了信号的瞬时频率,在此前提下,提取了新的特征参数。仿真结果表明,本文提出的算法成功实现了FSK/PSK复合调制信号的识别,并且在低信噪比时有较高的识别率。