通信技术的迅速发展使得现有的频谱资源开始紧张化,为了实现频谱资源的有效利用,极化的复用技术快速发展起来,而双极化天线技术以其低成本和高性能的特点受到了广泛的关注。在非协作环境下,垂直(或水平)极化天线接收到多个信号的情况变得非常普遍,这给信号的处理和信息的获取带来了巨大的挑战。在双极化天线的接收极化隔离度大于发射极化隔离度的条件下,本文对混叠信号的调制识别和盲分离算法进行了研究,并仿真比较了各算法的估计性能。首先介绍了循环谱的基本理论和实现算法,为了提高运算速度,引入了改进的带状谱相关(SSCA)算法。根据不同调制类型的信号在循环谱截面表现形式的不同,将循环谱的谱特征作为特征参数来设计分类器,实现了不同调制信号的识别,仿真验证了该算法的合理性。其次,分析了循环累积量的基本概念与性质,利用联立的二阶、四阶循环累积量来构建识别调制特性的分类器。仿真比较发现,相比于循环谱的识别方法,该方法的计算量较小,实时性较好,但是同信噪比下该算法的识别率略微偏低。在混叠信号完成调制识别的基础上,对信号的盲分离算法进行了研究。首先利用间隔采样法将单通道模型扩展为多通道模型,接着分析了快速独立分量分析(Fast ICA)算法的分离效果,为了减少算法运算量和改善分离性能,引入了改进的Fast ICA算法和基于循环平稳约束的改进Fast ICA算法。仿真结果表明,基于循环平稳约束的改进Fast ICA算法既解决了传统盲分离方法中存在的排列顺序不确定性问题,也提高了分离的精度和速度。最后,为了进一步提高信号的分离性能,在分析矩阵联合近似对角化(JADE)算法基本原理与分离效果的基础上,本文采用了JADE算法和二阶盲辨识(SOBI)算法相结合的联合算法,并将发射信号所具有的循环平稳特性应用到JADE算法和联合算法中。仿真结果证明基于循环平稳优化的联合算法能够实现更低信噪比下混叠信号的盲分离,进一步改善了信号的分离效果。