近年来,调制方式识别(modulation classification)受到了越来越多的关注。信号调制方式识别主要指的是在未知调制信息的情况下判定出调制方式。调制方式的识别不仅在军事领域的电子对抗战中意义重大,在民用领域也有巨大的作用,但如何在复杂多变的信道环境下,准确的识别出信号的调制方式一直是通信界的难题。目前,机器学习在很多领域的成功应用,使得基于机器学习的调制方式的识别得到了广泛研究,尤其是深度学习在分类问题上的显著优势,使得深度学习在调制识别上的应用成为研究热点。本文首先介绍了调制方式识别的基本架构和特征提取等理论知识,分析了机器学习算法目前在调制方式识别中的应用,比较了基于包括决策树(Decision Tree,DT)、K最近邻(K Nearest Neighbor,KNN)、支持向量机(Support Vector Machine,SVM)以及神经网络(Neural Network,NN)在内的传统机器学习的调制方式识别算法,并在提取同样特征的情况下,对算法性能进行了实验仿真和分析。然后,进一步提出了基于灰度星座图的AlexNet神经网络算法,以实现更优的调制方式的识别。不同于基于特征的机器学习算法,基于星座图的神经网络识别的方式不需要特征选择的操作,不仅使得算法更高效,还可以有效的改善特征选择和提取本身存在的部分信息遗漏的缺陷,以最大程度的保留信号的原始信息。此外,为了克服传统星座图上的星座点重合导致的部分信息丢失的问题,我们提出了灰度星座图,将星座图划分成多个小格,并统计每个小格中落入的星座点的个数,不同的个数即表示不同灰度,然后分析了选择不同的格子数对准确性的影响。灰度星座图可以有效地保留原始信号信息,以提高调制识别的准确性。最后,本文通过对信号建模、信道建模和信号采样得到了大量的信号样本;并将采集到的信号样本进行预处理,根据密度绘制灰度星座图以得到实验样本;再建立AlexNet神经网络分类器,并利用实验样本进行AlexNet网络训练。实验结果表明,我们提出的基于灰度星座图的AlexNet神经网络算法具有良好的准确性和一定的鲁棒性。