无线通信的调制识别是通信系统中非常重要的环节,是频谱感知、认知无线电等研究方向的基础。只有在正确识别出信源信号的调制方式之后,才能够为后续的信号解调、危险识别、准备干扰信号等步骤提供有用的信息。因此,不管是在军事领域或是民用商业领域,通信信号调制方式的自动识别都是一个重要的研究课题。目前的传统调制识别算法大多假设己知接收信号的全部或部分参数,或是接收机需要足够长度的观测信号才能达到较高的识别正确率,又或者是将通信环境和信号模型考虑的过于理想化,以上的缺陷限制了这些传统的调制识别算法在实际通信系统中的应用。为解决以上方法的局限性,本文研究了两种基于机器学习的调制识别算法。针对传统调制识别算法需要假设已知信道参数且需要大量观测信号的问题,本文首先研究了一种基于独立成分分析的调制识别分类器,该分类器可以在假设信源信号相互独立的情况下,仅由信号之间的统计特征而判定信号的调制方式,具有高精度和低时延的优势。在与平均似然比检验上限相比较的实验中发现,该算法有良好的识别性能,即使在非常短的观测间隔长度和低信噪比情况下,该算法也具有良好的性能。进一步,针对基于独立成分分析的调制识别分类器存在的接收天线的个数需要大于发送天线的个数以及需要已知接收信号的噪声功率的问题,本文提出了一种基于调制特性的高斯混合模型的调制识别分类器,该分类器通过高斯混合模型对接收信号进行建模,并利用通信信号的数字特性和星座图特性,将调制识别问题转化为机器学习中的聚类问题。该分类器适用于未知信道信息和信号噪声的场景,在低信噪比下仅利用少量观测样本即可获得较好的识别性能。此外,为了考虑更加实际的应用,本文还对较为复杂的通信系统场景进行了研究,在瑞利信道的基础上,对信道相关和噪声不确定场景进行了建模分析。仿真结果表明,新提出的基于调制特性的高斯混合模型的调制识别分类器具有更好的鲁棒性。具体而言,在相对较高信噪比和相对较高信道相关度或噪声不确定情况下,基于调制特性的高斯混合模型的调制识别分类器比基于独立成分分析的调制识别分类器在性能上高出大约百分之十。