天波超视距雷达(OTHR)的主要传输媒介是电离层。电离层具有分层结构和非平稳特性。电离层的分层结构会引起多模传播现象的产生;而其非平稳特性使得雷达回波信号产生扰动,引起海杂波的多普勒扩展,该扩展使得杂波的频谱与船舰等慢速目标的多普勒频谱接近或重叠,造成OTHR对慢速船舰目标的检测困难。而多模传播使得杂波扩展更为严重,导致OTHR对慢速船舰目标的检测更为困难。采用多输入多输出(MIMO)技术的OTHR(MIMO-OTH雷达)可实现等效的非因果自适应发射波束形成。该雷达可充分利用空域信息,对多模杂波进行有效地抑制。针对MIMO-OTH雷达中的多模杂波抑制问题,本文重点研究了基于盲源分离及稀疏重建的多模杂波抑制算法的可行性与有效性,主要得到了如下的研究结论和成果:(1)在分析电离层特点及性质的基础上,构建了多模传播场景下的MIMOOTH雷达信号模型。该信号模型表明:可用基于盲源分离的方法抑制多模扩展杂波。该信号模型也为采用稀疏重建的方法抑制多模杂波提供了理论支持。(2)将盲源分离(BSS)中的二阶盲辨识(SOBI)、基于特征矩阵的联合近似对角化(JADE)和快速独立分量分析(Fast-ICA)三种算法应用于雷达阵列接收信号分离。仿真验证了盲源分离在阵列信号处理中的可行性。但上述三种盲源分离算法,均不能分离相关源信号。针对该情况,提出基于空间平滑的改进二阶盲辨识新算法(SS-SOBI)。仿真结果表明,该算法能够实现相关源与非相关源信号的有效分离,且具有很好的分离效果,分离信号与源信号的相关系数均大于0.98。通过盲源分离算法分离混合的信号,从而实现多模杂波抑制,是本文抑制杂波的一个理念。具有优良分离效果的这一特点,为基于盲源分离的多模杂波抑制算法的提出提供了一定的指导意义。(3)提出基于SOBI的多模杂波抑制算法。该算法不需要目标的角度先验信息,也不需要目标回波的具体波形信息,且可以有效地抑制多模杂波。同时,该算法可保留杂波信息。在MIMO体制下,以整体空间平滑的方法改进SOBI算法。同样是采用空间平滑技术,与相控阵体制下的改进不同之处在于具体的数据平滑方式。并提出基于SS-SOBI的MIMO-OTH雷达多模杂波抑制算法。与基于SOBI的多模杂波抑制算法相比,基于SS-SOBI的多模杂波抑制算法具有更好的多模杂波抑制效果,且使信杂比得到很大的提升(仿真中提高约10dB),更利于目标检测;在多模传播情况下,该算法可有效地分离出两个频谱结构相似的源信号,进一步说明了该算法在多模杂波抑制方面的有效性及稳健性。仿真结果表明,基于SS-SOBI的多模杂波抑制算法在低信噪比(SNR)环境下,仍具有较好的多模杂波抑制效果。此外,对于多模传播与强相位污染并存的情况,提出先将各传播路径下的信号盲分离出来,再对包含目标的信号进行相位污染校正的新方法。相关仿真验证了该方法的正确性。(4)提出一种基于稀疏重建的MIMO-OTH雷达多模杂波抑制新算法,并阐述了该算法的原理,给出了其具体流程。该算法通过将二维稀疏角度搜索转变为一维稀疏角度搜索,降低了运算量,且估计出的DOD和DOA自动配对。仿真结果表明,该算法可准确地实现目标定位,及获得理想的多模杂波抑制效果。