通信信号调制识别在非合作通信领域的重要地位以及在无线电应用中的价值已经得到了广泛的认可,这方面的研究也越来越受到国内外众多学者的重视。在军事上,主要用于监视、通信侦察、电子战和威胁分析。在民用上主要用于频谱管理、频谱监测、干扰识别、信号定位等无线电管理工作。调制识别的关键技术是特征的分类,目前用于特征分类的技术主要是神经网络分类器。神经网络分类器由于具有强大的模式识别能力,可以获得很高的识别率,能够自动适应环境变化,较好处理复杂的非线性问题,具有更好的稳健性和潜在的容错性,所以在信号调制识别中得到了广泛应用。传统的神经网络分类器一般采用BP算法作为训练算法,而BP算法作为一种梯度算法,它不能保证连接权值收敛于全局最优解,且收敛速度太慢,这就无形中削弱了神经网络分类器的优势。因此,提高神经网络分类器的分类性能、训练速度、分类的鲁棒性是提高调制识别的关键所在,也是本文的主要研究工作。首先,论文提出了一种基于精英策略与优化排序的蚁群算法,除了保留基本蚁群算法的随机、并行搜索特点外,在搜索过程中,按照每次搜索的结果(可以是路径的长度,也可以是某个抽象的目标函数)对搜索到的路径进行排序,按照排序的先后,进行额外的信息素增加。这样,排序越是靠前的路径会在以后的蚂蚁搜索中有更多的信息素来吸引更多的蚂蚁聚集。文中对改进的蚁群算法的收敛性作了详细的理论推导与证明。并对算法中的各个参数的初始设置范围作了深入研究,并对研究的结论做了理论推导。改进的蚁群算法较之基本蚁群算法在收敛速度与搜索解的精度上有了明显提高,为了更一步提高算法的收敛速度,本文提出了混合遗传蚁群算法,该算法融合了遗传算法与改进的蚁群算法。利用遗传算法的特性,快速、全面地生成初始信息素分布,之后再利用改进蚁群算法的正反馈性、高效性求取问题的最优解。该算法的收敛速度优于遗传算法与蚁群算法,搜索的最优解有更高的精度。最后,利用混合遗传蚁群算法训练神经网络的权值,将训练好的神经网络作为调制信号的特征分类器。针对通信信号这种非稳定的、信噪比(SNR)变化范围较大的信号,分类器对各种调制信号的特征矢量进行分类识别,发扬混合遗传蚁群算法的快速、全局收敛以及启发式学习等特点,避免神经网络收敛速度慢,易于陷入局部极小点的问题。使得分类器的识别率、收敛速度和鲁棒性得到明显改善。通过仿真实验表明,和传统的BP神经网络相比,基于混合遗传蚁群算法与MLP神经网络的分类器有更高的识别率,更强的鲁棒性,即使在信噪比为5dB时仍然有良好的分类效果。