信号的检测与识别被广泛应用于频谱监测、军事电子对抗、信号解密、干扰探测等领域。随着通信环境的日益复杂,传统的单信号识别技术无法应用于电磁干扰严重的信号混叠场景。如何消除干扰、频偏、相偏、衰落等带来的影响,识别出混叠信号中的未知信号源是一个亟待解决的难题。传统的盲信号识别算法识别精度依赖于盲源分离效果,然而复杂通信环境下的非充分稀疏混合信号难以分离,且无法适应环境的动态变化。本文围绕基于机器学习的盲信号识别主题,针对信道衰落、频率偏移、干扰信号对识别效果的影响进行算法设计。针对传统基于累积量调制识别算法中人工提取特征无法对信号特征进行完整表征的问题,提出用数据驱动特征学习替代人工特征提取算法,利用神经网络对单源盲信号识别问题进行建模。卷积神经网络（Convolutional Nerual Network,CNN）相较于传统方法能自动提取更丰富的特征,且能适应环境的动态变化具有更好的鲁棒性。针对单源盲信号识别实际应用中信道改变引起的识别正确率下降的问题,提出利用迁移学习在原信道模型基础上微调得到适应新信道环境的调制识别模型。共提出两种迁移学习算法,第一类迁移学习算法在训练样本受限的情况下能通过对预训练网络参数的微调达到较好的识别效果;第二类迁移学习算法在训练样本充足的情况下能达到接近第一类迁移学习算法的效果且网络收敛速度更快。该算法在有效利用旧信道先验知识的基础上完成对新信道数据的识别。针对多源盲信号识别实际应用中可识别调制种类单一、源信号数目较少的问题,提出将可识别调制种类扩展11种,混合信号中的源信号上升到5路。采用多标签分类模型对问题进行重新建模,从一般的先分离再进行单信号调制方式识别的传统思维结构跳出,选取长短期记忆（Long Short-Term Memory,LSTM）、卷积-LSTM-全连接网络（Convolutional Long-short-term Memory Deep Neural Network,CLDNN）、门控循环单元（Gate Recurrent Unit,GRU）三种网络结构分别从时间和空间的角度进行混合信号盲识别网络重构。从精简网络参数、提升网络识别精度两个角度出发进行试验仿真,选取性能最佳的网络模型。