在雷达、无线通信等应用领域中,干扰抑制技术是其重要技术之一。在不同的应用场景中需要有针对性的方案来实现干扰抑制。针对干扰抑制技术在阵列雷达中的应用,深入研究了阵列信号处理中主瓣干扰抑制、干扰方向扰动时的零陷展宽算法,阵列雷达稳健性设计、雷达与通信系统谱共存时系统间互扰抑制等问题。本论文的主要工作和贡献为(1)主瓣干扰抑制基于特征波束的性质提出了一种基于特征投影预处理和波束赋形的主瓣干扰抑制方法,该方案可以方便地确定多主瓣干扰的存在,进而可以构造特征投影矩阵对多主瓣干扰进行抑制处理。同时,利用凸规划模型对主瓣波束进行了赋形,得到了自适应权向量。该方法在抑制干扰的同时保证了较低的旁瓣电平和良好的主瓣波束。(2)干扰方向扰动时的零陷展宽算法针对干扰方向扰动提出了一种新的零展宽算法设计方法。首先对干扰加噪声协方差矩阵进行扩展重构。此外,在相似性约束下,通过最大化新的信干噪比(Signal-to-Interference-plus-Noise-Ratio,SINR)准则来计算自适应权向量。原问题可以用半正定规划(Semidefinite Programming,SDP)技术将其转化为一个凸优化问题。最后,利用Charnes-Cooper变换和秩一矩阵分解定理,得到了最优解。(3)稳健波束形成针对期望信号指向误差提出了一种基于二次约束的稳健自适应波束形成算法。该方法的实质是在特定的信号方向上,通过二次约束条件,最大限度地提高SINR。在基于半正定松弛(Semidefinite Relaxation,SDR)预处理基础上,将原稳健设计转化为一个凸问题,并用高斯迭代法来逼近最优解。针对期望信号导向失配提出了一种基于信号导向向量和协方差矩阵估计的稳健设计算法。导向向量估计问题为非凸二次规划问题,通过分析其隐凸性,可知该问题的半正定松弛性是紧的,即通过SDR技术求出原问题最优解。进而可以通过修正的导向向量和子空间理论估计干扰加噪声协方差矩阵。理论分析了提出方案的有效性。(4)MIMO雷达稳健性设计研究了多输入多输出(Multiple-Input Multiple-Output,MIMO)雷达系统的稳健自适应波束形成器。在相关系数和期望信号收发导向向量范数约束下,通过最大化输出功率来估计期望信号的发射-接收导向向量。构建的原始问题为非凸问题,该非凸问题被转化的两个SDP问题通过迭代算法交替求解,并证明了该迭代算法的收敛性。在求得的期望信号收发导向向量的基础上,可通过矩阵秩约束最小化方法得到干扰协方差矩阵。(5)频谱共存模型与算法针对MIMO通信与MIMO雷达系统频谱共存时的发射端优化设计。通过与参考雷达波形的相似性以及雷达和通信系统的发射能量的约束,基于通信发射协方差矩阵和雷达发射波形的联合优化,使通信速率最大化。原设计是通过求解两个凸优化问题来构造的,在此基础上,提出了一种交替迭代算法,并给出了该算法的闭合解。针对MIMO通信系统与MIMO雷达频谱共存时收发联合设计。设计的目标包括雷达空时发射波形、雷达空时接收滤波器和通信系统空时码本。针对不同的系统要求提出了频谱共享问题的两种公式。首先,将设计问题表述为雷达接收器处的SINR的约束最大化,其中干扰是由杂波和共存结构互扰而引起的,主要包括雷达发射波形与雷达参照波形的相似性和通信系统在发射能量上可实现的速率两个约束。该问题被转化为三个子问题进行交替优化,同时该方案最大化的降低了复杂度。此外还研究了约束下的通信速率最大化问题。