在卫星通信遥测领域,涉及的调制类型十分丰富,包括二次调制、连续相位调制等较为复杂的调制信号,这给调制识别领域带来了一定的挑战。本文针对复合调制特征这一概念建立了数学模型,研究了二次调制相关集合{PCM/FM、BPSK/PM、QPSK/PM、OQPSK/PM、2FSK/PM},与连续相位调制（CPM）相关集合{FM、MSK、GMSK}的识别问题,并基于决策树分类器设计了总体调制集合{CW、AM、FM、BPSK、QPSK、OQPSK、8PSK、DBPSK、DQPSK、CPM}的识别方案。主要工作如下:对于可以使用解调提取复合调制特征的二次调制集合,给出了一套先解调后识别的处理方法。针对FM与PM类信号,将循环谱谱线特征运用到PCM/FM信号的识别过程中,在信噪比大于0d B时有效区分这两种调制类型。分析了调制信号的谱线生成特性,并利用谱线比值作为分类特征,实现了BPSK/PM、QPSK/PM、OQPSK/PM、2FSK/PM等信号的识别,在信噪比7d B以上达到95%以上的识别成功率。在识别步骤中涉及的PM信号解调问题,本文提出了一种在提取相角前先通过锁相环的方案,提高了载波同步效果,对于解调中涉及的载频带宽等参数估计等问题,给出了较为简洁的估计方法。对于难以直接提取相位中复合调制特征的频率调制与连续相位调制,本文分析了FM与CPM调制的差异在于是否包含数字符号信息,并以此提出了一种基于循环谱提取符号速率谱线的特征参数,在信噪比0d B以上实现两种调制类型的有效识别。对于同样属于CPM调制类内的MSK与GMSK调制类型,本文整理了其信号模型及其循环平稳特性,发现由于其频率脉冲成型函数的区别,信号做四次方后循环谱不同循环频率截面的谱线数量不同,并由此提出了一种基于循环谱的离散谱线特征提取方法,并利用谱线比值作为特征参数,在7d B有效区分这两种调制类型。最后研究了CPM信号的类间识别问题,针对调制集合{CW、AM、FM、BPSK、QPSK、OQPSK、8PSK、DBPSK、DQPSK、CPM},分别利用包络平方谱符号信息谱线、瞬时幅度特性、高阶累积量等多种统计量特征,给出了基于决策树的调制识别方案,在信噪比8d B以上时有95%以上的识别成功率。