自动调制分类（Automatic Modulation Classification:AMC）是指接收机在对接收到的信号的调制类型未知的情况下,根据信号本身的信息判断出信号类型的技术,也是非合作通信系统的基础。随着调制类型的增加和通信环境的恶化,传统的AMC算法难以实现有效分类,因此寻找高效的AMC方法成为亟需解决的关键问题。得益于计算资源和大数据的蓬勃发展,深度学习技术在计算机视觉、通信等领域的潜力被挖掘。基于此,论文对深度学习和AMC的结合进行研究,利用深度神经网络实现特征提取和分类的整合,以达到进一步提高分类性能的目的。论文具体包含三部分内容:（1）针对城市中建筑越来越密集,致使无线传播环境中存在大量散射信号的这一现象,论文通过瑞利衰落模型来模拟该环境,提出基于卷积神经网络和循环神经网络融合的AMC算法,将卷积神经网络和循环神经网络两者不同侧重的特征提取能力进行结合。论文中的循环神经网络采用的是一种能够提升训练速度的变体称为简单循环单元（Simple Recurrent Units:SRU）。实验考虑了三种融合结构,分别是卷积神经网络串联循环神经网络（CNN Series SRU:CSS）、循环神经网络串联卷积神经网络（SRU Series CNN:SSC）和卷积神经网络并联循环神经网络（CNN Parallel SRU:CPS）,并与传统AMC算法进行对比。实验结果表明,融合算法的表现远远超出传统算法,其中在三种融合方法中CSS具有较高的正确分类概率,多种信噪比下的平均分类精度超过90%,优于其余两种融合方法。（2）针对无线通信中接收机的移动状态会对信号频率造成影响这一常见现象,论文通过改变瑞利衰落信道的多普勒频移值来模拟这一场景,探究提出的基于卷积神经网络和循环神经网络融合的AMC算法的鲁棒性能。实验的算法同样是三种融合算法和传统算法,实验结果表明随着多普勒频移的增大,四种算法的性能都是在下降的,但是融合算法在该场景下的性能表现仍然远远高于传统算法。同时,相比于CPS和SSC来说,CSS表现更为稳定且大频移高信噪比下可以达到超过97%的分类性能,具有较好的鲁棒性。（3）针对具有优异性能的CSS算法模型体积大,对存储资源造成压力的问题,对其进行压缩剪枝,优化模型的实用性。通过基于权重连接的剪枝对CSS模型进行相同的分类性能和鲁棒性能的研究实验。实验结果表明,当剪枝过当时模型虽然体积大幅缩减但是性能劣化严重,而适当剪枝后的模型能够在保证分类性能的同时,具有较小的模型体积。尤其当模型剪枝参数设置合理的情况下,可以实现平均分类性能将近半个百分点的提升。