通信技术在向着智能化方向不断发展,其中认知无线电技术由于具备智能感知和高效利用频谱的特性,可有效缓解频谱资源紧缺的问题,因此得到了业界的重视。随着认知无线电技术的发展,系统中的次级用户将会从单一体制演变成多个不同体制次级用户间的相互协作与竞争。这就对次级用户的感知能力提出了更多的要求,对调制方式的识别将是其中十分重要的一项感知要素。基于上述研究背景,本论文针对目前单载波无线通信系统中经典的九种调制方式,开展了调制模式识别算法的研究工作。通过分析,可以从数字调制与模拟调制;二进制调制与多进制调制;幅度、相位、频率、正交等调制方式,载波相位是否连续,是否是恒包络调制等维度对九种调制方式进行区分。以此为基础,本论文以提取不同调制方式的特征为核心任务,结合支持向量机在多元分类上的优势,使得所构建的基于机器学习的调制模式识别系统更具可解释性,使其具备更好的泛化能力。特征提取是本课题研究的核心任务。针对特征提取部分,提出了一种时频特征与瞬时特征相结合的混合特征调制识别算法。时频特征部分主要对小波包分解在调制分类识别中的可用性进行了研究。在进行特征提取之前,首先对小波包特性分析,研究高采样率与分解层数之间的关系,将调制信号进行合理的抽取采样的预处理工作,使得能够利用较少的分解层数得到较全面的信息。在此基础上,对二维小波包系数的降维方法进行研究,提出基于小波包系数的二范数向量,以及对小波包系数进行时域重构,提出的时域奇异值熵和时域能量熵等三种不同的特征提取方法,为每一类调制信号构建了18维的时频特征向量。通过建模仿真,验证了所提时频特征能够对不同的调制模式具备敏感性,同时对噪声变化具备较强的容忍性。在瞬时特征提取方面,本论文以瞬时相位、幅度、频率为基础,通过自定义基于统计量的特征参数,从而共构建了4维瞬时特征向量。通过实验仿真,证明了所提瞬时特征在信噪比已知的情况下,对不同的调制方式具有敏感性。针对分类器的研究以支持向量机为原型,构建多元分类器,利用本论文提出的22维特征向量作为数据集进行调制模式的分类识别。通过对仿真数据集的测试,证明本文所提方案,在不同信噪比条件下,特别是在低信噪比条件下,能够实现较为可靠的识别精度。