近年来,盲源分离以其突出的技术优势在众多领域中得到了广泛的应用,成为了信号处理领域的研究热点。盲源分离技术放宽了无线通信系统中对先验信息的限制条件,它可以仅从接收的混合信号中依据源信号特性分离出不可观测的未知源信号,它是实现无线通信高频谱效率、强抗干扰性和自适应信号处理的重要理论方法。为了优化和增强无线通信系统的接收性能,即提高系统的频谱效率、抗干扰能力和信号检测性能,本文结合未来无线通信的发展需求,主要研究无线通信盲源分离关键技术,以实现无线通信系统盲自适应接收信号处理的目标。课题研究工作主要分为盲源分离算法研究和盲源分离在无线通信系统中的关键技术方法研究,具体研究内容包含如下:针对盲分离算法对噪声比较敏感问题,结合通信系统中的误码率性能指标,提出了一种基于最小误码率准则的盲源分离算法。本算法在最大似然原则中融入最小误码率准则建立盲分离代价函数,构建一种最小误码率约束的代价函数。采用基于自然梯度下降搜索方法,最小化代价函数实现盲源分离。仿真实验分析表明:提出的最小误码率约束代价函数得到的盲源分离算法,比原有的最大似然原则代价函数得到的盲源分离算法,具有更好的收敛性能和分离精度。针对通信场景中欠定盲源分离的混合矩阵估计问题,利用广义协方差的统计性和结构性质,以及塔克分解的压缩特征,提出了一种新的欠定盲辨识算法。首先基于广义协方差矩阵建立核函数,接着将核函数堆叠成三阶张量模型,然后应用塔克分解求混合矩阵。该算法不仅具有优良的辨识性能,而且具有较低的实现复杂度。仿真实验证明了算法的有效性。研究了#系统的盲多用户检测和盲码估计问题。针对基于高阶统计盲分离方法造成的复杂度问题,提出了一种基于广义协方差矩阵的#盲自适应接收算法,用于盲用户分离和扩频码估计,利用广义协方差矩阵提取统计信息来优化分离性能。针对#系统建立盲源分离模型,再利用联合对角化的算法求解分离矩阵,该算法可以有效实现#系统在较低信噪比和较短采样数时的用户信号盲分离和扩频码估计。针对时间异步和信道衰落引起的特征序列波形不匹配问题,提出了一种基于二阶锥约束的#盲多用户检测算法。首先将#模型建立为带二阶锥约束的盲分离模型。然后该二阶锥约束的盲分离模型利用拟牛顿迭代达到负熵最大化,实现盲多用户检测。理论分析与仿真实验说明,提出的盲多用户检测算法与现存的盲多用户检测算法相比具有较优分离性能和较低复杂度的优势。研究了系统的干扰消除及源信号恢复问题。针对在未知频偏和衰落信道条件下的同步接收问题,提出了一种基于盲源分离的自适应干扰消除和源恢复算法。考虑子载波间的统计独立性,源信号恢复的机制可以实现盲均衡。接收的信号可以看作混合的信号。频偏和衰落信道的影响相当于盲源分离架构中的混合矩阵对源信号的影响。建立了含频偏基于独立成分分析的盲源分离模型,然后从最小互信息原则得到分离的代价函数,结合自然梯度优化得到源信号,实现载波频率同步。该盲分离方法提高了系统的频谱效率,可以避免繁琐的信道估计,也可以避免基于导频机制的频偏估计和由频偏估计误差带来的性能恶化,有效克服了传统方法中估计误差带来的性能损伤,提高了源信号恢复的鲁棒性。理论分析和仿真实验表明,提出的基于的盲处理算法与常规的基于导频机制的方法相比具有更优越的性能。针对基于张量分解的盲分离模型,结合模型中可以利用的先验信息,提出了一种范德蒙矩阵约束的张量分解盲自适应接收算法,用于在未知频偏和衰落信道条件下的盲载波同步接收。此约束模型可以采用线性代数的方法计算各因子矩阵,实现系统干扰消除和源信号恢复。研究表明,利用范德蒙矩阵约束的张量分解方法不仅可以增强系统中干扰消除和源信号恢复的性能,而且与现有的无约束张量分解方法相比具有较低复杂度的优势。仿真分析验证了所提算法的有效性。