多输入多输出超视距（Multiple Input Multiple Output over the Horizon,MIMOOTH）雷达由于其同时拥有MIMO雷达和OTH雷达的优秀性能,是近年来雷达系统的重要研究方向。本文在构建MIMO-OTH雷达仿真系统的基础上,研究了包括频谱共存的波形设计、TBD算法在MIMO-OTH雷达中的应用、基于多项式的电离层相位污染校正等内容,主要工作如下:（1）本文在电离层模型和射线传播模型的基础上,建立了MIMO-OTH雷达探测仿真系统,并完成了整个信号处理流程,包括接收/等效发射波束形成、匹配滤波、多普勒处理、参数测量等,并进行了丰富的仿真实验,仿真证明此系统可以有效探测到目标。（2）在MIMO-OTH雷达的信号处理中,具有良好特性MIMO-OTH发射信号对于目标的精确检测具有重要的意义。本文针对高频段存在众多通信服务的现状,提出一种频谱共存的波形设计算法,以在被通信服务占用的频段能量最小为优化目标,以相似度和恒模作为约束条件,使用极大极小值（Majorize-Minimization,MM）算法进行求解。仿真证明,所设计波形的能量分布能够在被占用方位和频段形成凹陷,避免两者之间的相互干扰。（3）针对传统恒虚警检测算法难以检测到微弱目标的问题,本文将TBD算法应用到MIMO-OTH雷达中,以改善系统对微弱目标的检测性能。本文以广义似然比准则设计了复高斯海杂波背景下的值函数,并使用动态规划（Dynamic Programming,DP）的方式对TBD算法进行实现。在TBD算法的实现中采用消除多普勒参数的方式,将二维DP变成一维DP,有效地降低了算法复杂度并提高了算法的适用性。仿真实验证明,本文设计的值函数的检测和跟踪性能要优于以幅度作为值函数的TBD算法;同时证明了TBD算法在MIMO-OTH雷达中的有效性。（4）MIMO-OTH雷达系统的多模多径和电离层的相位污染研究。在本系统中采用二维接收阵列获取目标回波的俯仰角信息,实现对多模多径的抑制。针对电离层对回波的相位污染,导致海杂波频谱展宽的问题,提出了一种新的基于多项式的电离层相位污染校正算法,利用五次多项式函数来估计相位污染函数,并给出五次多项式的系数估计方法。仿真实验证明,本算法能够有效地消除电离层相位污染对回波信号的影响。