随着移动通信技术的快速发展,其业务种类与应用领域不断扩展。然而,移动终端的种类、数量和密度不断增加,对频谱资源的需求也随之呈非线性级增长趋势。因此,开展频谱资源利用和频谱感知技术的科学研究,具有极其重要的意义。本文主要研究了动态频谱感知技术中采用认知无线电的自动调制方式识别技术,为提升自动调制方式识别算法的准确率和鲁棒性,采用机器学习的方法来对现有算法进行改善,以解决复杂频谱环境下高阶调制信号的识别问题。本文的主要贡献包括两部分:(1)为了解决基于人为设计特征的机器学习方法存在冗余特征以及优化目标单一的问题,提出了一种新颖的基于多目标遗传编程的自动调制方式识别方法。采用多目标遗传编程算法将原始的多维特征合并为一个单独的特征,减少了冗余特征。设计了分类错误率和鲁棒性方差两个适应度函数,作为两个量化目标,对算法的准确率与鲁棒性进行了优化。仿真结果表明,在相同信道衰落条件下,所提出的多目标遗传编程算法比对比算法准确率提升2%以上,证实了算法的较好鲁棒性(2)为了解决人工设计的特征有失完备性以及忽略信号时间相关性的问题,提出了一种新颖的基于门循环残差神经网络的方法。设计具有残差结构的卷积神经网络从原始输入信号中不断提取具有辨识度的特征,随后,设计循环神经网络对时间相关性特征进行提取并分类。经过验证,所提出的算法相比于现有算法,在分类准确率达到90%时提升了 2.5 dB以上,同时,所提出算法在信噪比越大的情况下性能越接近于理想最大似然分类器。以上证实了该算法具有极好的分类准确率性能。