天波超视距雷达的干扰抑制和舰船目标检测问题一直以来都是研究的热点，同时也面临许多技术难点。在天波超视距雷达的干扰中，瞬态干扰对雷达的检测性能影响较大。瞬态干扰主要包括大气中的闪电干扰、流星余迹干扰、人为的脉冲噪声等。虽然自适应波束形成技术能抑制部分干扰，但仍有残留的干扰进入雷达接收机，造成多普勒域中的噪声基底抬高，导致雷达的目标检测性能下降，有时甚至造成目标丢失。因此，舰船目标检测之前必需进行瞬态干扰抑制。天波超视距雷达能成功地检测到空中的高速目标(如飞机)，这是因为高速目标和海杂波的雷达回波在多普勒域上是完全分开的。然而，天波超视距雷达在进行舰船目标检测时就困难得多，这有两方面的原因：一方面舰船目标的多普勒峰和海杂波的一阶Bragg峰接近，并且其峰值通常比Bragg峰低10-40dB，导致舰船目标被海杂波遮蔽；另一方面，由于天波超视距雷达的传播信道的复杂性和随机扰动性，导致接收到的雷达回波信号出现多模和多径效应。天波超视距雷达工作在高频波段，并且是通过电离层反射来传播电磁波实现目标探测，因此它工作的电磁环境十分复杂。经典的雷达信号处理方法通常假设回波信号是平稳的、噪声是白高斯的，但在天波超视距雷达系统中,由于电离层的不规则运动等电磁环境的影响往往导致回波信号偏离这些理想情况,因此有必要研究在非平稳、非高斯环境下的信号处理方法。经验模式分解是近十多年发展起来的处理非线性非平稳信号的一个有力工具，而天波超视距雷达回波信号是典型的非平稳信号，因此本论文主要围绕经验模式分解方法在瞬态干扰抑制和舰船目标检测问题中的应用进行了相关的研究，主要工作和创新点如下：(1)在研究天波超视距雷达瞬态干扰抑制问题中，本文提出了三种新的时域瞬态干扰抑制方法。第一种方法利用一维离散平稳小波变换确定信号的奇异点(即瞬态干扰)，然后将每一奇异点对应的影响锥内的小波细节系数置零，最后通过一维逆离散平稳小波变换重构数据。第二种方法利用复经验模式分解先将雷达回波信号分解成多个固有模态函数分量，然后由第一个分量来确定瞬态干扰的位置，再利用相关系数来判定哪些分量需要剔除瞬态干扰，最后对剔除后的数据进行重构。第三种方法利用小波包分解将回波信号先分解成一系列窄带信号，再对每一个窄带信号进行复经验模式分解，然后对各个固有模态函数进行归一化相关性筛选处理，最后对剩余信号进行瞬态干扰检测和剔除。这些方法的主要优点是无需抑制杂波，也不需要通过自回归(AR)模型预测恢复数据，运算量小，实用性强。实测数据处理结果表明，三种方法都可以有效地抑制瞬态干扰。(2)提出了一种基于复经验模式分解的海杂波对消法，该方法能提高天波超视距雷达对舰船目标的检测性能。复经验模式分解算法能够有效分离出雷达回波信号中的强海杂波回波分量，从而在雷达回波信号中能够实现对消强海杂波回波信号，进而实现舰船目标的检测。实测数据处理结果验证了该方法的有效性。(3)建立了一种多模传播模式下的海杂波时间序列新模型，该模型认为在多模效应下海杂波时间序列是由多个窄带调幅-调频信号分量组成。在新模型基础上，采用复经验模式分解将海杂波序列分解成有限个窄带调幅-调频信号分量，再对这些分量进行傅里叶变换，然后把它们的傅里叶多普勒谱叠加在一起，最后可得到一个较为稳定的基于复经验模式分解的多普勒谱。对实测数据的分析和实验表明：相比于传统的傅里叶多普勒谱，相邻距离单元和邻近多普勒单元的基于复经验模式分解的多普勒谱的起伏更小。针对舰船目标检测，在距离-多普勒平面使用了一种基于复经验模式分解的多普勒混合恒虚警率检测方案。与传统的傅里叶谱混合恒虚警率检测器相比，数值实验验证了这种新的检测器的检测性能更好。