通信信号调制识别的功能主要是在接收信号调制模式未知的情况下,通过分类器检测接收信号的调制类型,保证所得的信号在解调阶段可以准确解调,从而确保传输的信息可以完整地恢复。传统的调制识别方式往往需要精确的信道信息才可以保证高识别准确度。为了解决这一问题,基于卷积神经网络的识别方式引起了调制识别研究者的注意。卷积神经网络在一些其他领域的应用中已经有了出色的表现,但是在无线通信系统中还没有得到很好的研究和应用。因此,本文基于近年来卷积神经网络和信号调制识别方面的前沿研究成果,主要完成了以下两个方面的优化和设计工作:（1）基于AlexNet卷积神经网络优化的盲调制识别。（2）针对盲调制识别的卷积神经网络结构设计及定制卷积核初始化。为了适应卷积神经网络的输入,本文首先提出了一种将一维通信信号转换为二维分布密度谱的预处理方式。通过分析转换后通信信号的特点,并结合近年来的相关研究和实验,首先对经典的AlexNet网络结构进行了优化。主要针对全连接层,归一化方式,池化层,激活函数和优化器进行优化。仿真结果表明,优化后的模型在识别精度和复杂度上都有改善。在与传统调制识别算法的比较中也有不俗的表现,尤其是在盲调制识别中表现优异。在后续的研究中,为了进一步提高模型的识别精度,降低模型复杂度和提高模型训练效率,需要重新构建一种针对盲调制识别的卷积神经网络。所以,本文通过对通信信号特征的分析,设计了以两层卷积层为主要结构的卷积神经网络模型以及定制化的卷积核初始化方式。其中,第一层主要针对高斯信道信号的普遍特征进行设计。第二层主要针对不同调制信号的特有特征进行设计。仿真结果表明,本文提出的卷积神经网络在拥有低复杂度的同时仍然保持着精度方面的优势。在增加了定制卷积核初始化后,模型的训练过程更加平稳,收敛更加迅速,整体的训练效率和模型的识别精度都得到了提升。综上所述,基于卷积神经网络的调制识别可以在不利用专家特征的情况下实现未知信道信息情况下的盲调制识别。针对图像所设计的经典模型,通过优化后可以在调制识别应用中获得更高的训练效率和调制识别精度。而针对调制识别定制设计的卷积神经网络模型,在进一步降低模型复杂度的同时进一步提升了识别精度和训练效率。