在非协作通信中,对未知信号进行调制识别的前提是将信号进行分离,对未知信号进行分离的前提是知道信号源的数量。本文以此为出发点对信号盲检测算法、信号分离算法和通信信号调制识别算法进行研究和优化,并通过仿真实验和搭建系统实验平台进行实验对算法进行验证。首先对于信号源数量检测问题,研究了基于最小信息准则、最小描述长度准则和基于盖尔圆准则的检测算法的性能和适用范围。对不受噪声模型限制的基于盖尔圆准则的算法,从校正因子取值的优化和盖尔圆半径的修改两个角度出发对其进行改进,并通过实验进行验证。实验结果表明改进后算法的检测率比改进前提升了13.25%。其次对于盲源分离问题,研究并优化了基于负熵的快速独立分量分析盲分离算法。一方面通过观测信号的四阶累积量矩阵求出联合对角化矩阵,再用求出的矩阵对观测信号进行联合对角化处理减少算法运算量,另一方面通过使用改进的牛顿迭代法来减少算法的迭代次数。实验结果表明改进后的方法达到相同的分离效果所需要的迭代次数更少,且算法运行的时间减少了26.86%。再次对于通信信号的调制识别算法,分析了不同调制方式的信号在高阶累积量、瞬时信息、经过小波变换后的图形和星座图上的区别,总结出相应的特征参数并对其进行了优化。一方面在特征值提取部分进行了优化,利用最优尺度下的小波变换优化了图形波峰个数的提取,利用一种灵活选择半径的基于密度的聚类算法优化了星座图的点数提取。另一方面在两种不同调制方式的信号有多种特征参数不同时,通过对比实验选择最优的特征参数对其进行区分。以此为基础构建了基于决策树分类器的信号调制识别算法,并对15种通信信号进行实验,结果表明该算法在在信噪比为5 d B时的平均识别率为96.87%。最后搭建了系统实验平台,完成对采集信号的信源数量盲检测、信号分离以及调制方式识别的整个过程,并对改进前后的算法进行比较,进一步证明了改进的有效性。