现代雷达在工作时不仅会受到很强的地、海、气象等杂波的影响,还会遭受很强的电磁干扰,工作背景十分复杂。另外,随着无人机技术、隐身技术的迅猛发展,目标的雷达散射截面积(Radar Cross Section,RCS)变的越来越小。这两个因素碰撞,导致雷达检测性能严重恶化。在不改变雷达硬件的条件下,信号处理算法是提升雷达性能的关键。本文主要对传统雷达信号处理方法进行研究,并针对其缺陷提出改进方法,从而提高雷达在复杂环境下的小目标检测性能。首先,介绍了脉冲压缩(Pulse Compression,PC)匹配滤波原理,详细分析了离散采样误差对S型非线性调频(Nonliner Frequency Modulation,NLFM)信号脉冲压缩的影响,并结合实际工程,提出了一种S型NLFM雷达信号的优化方法。该优化方法综合考虑了实际工程中多种回波失配情况,使得在实际系统常用的采样频率下就能设计出较好的信号,降低离散采样误差对脉冲压缩结果的影响,而且能有效提高主副瓣比(Mainlobe-to-sidelobe ratio,MSR)。其次,对杂波抑制技术进行研究,介绍了杂波模型,同时详细介绍了多种动目标显示(Moving Target Indication,MTI)、动目标检测(Moving Target Detection,MTD)杂波抑制滤波器的设计方法,并通过仿真实验对各种滤波器的杂波抑制性能进行了分析。接下来,对雷达目标检测方法进行研究,介绍了一种基于相位信息的多通道杂波图检测算法,该算法可以检测杂波背景下的超低速目标,有效避免“自遮蔽”现象。此外还介绍了四种恒虚警(Constant False Alarm Rate,CFAR)检测器,并通过仿真实验对它们在各种环境下的检测性能及CFAR检测损失进行了分析。然后,对小目标的解模糊检测方法进行研究,详细说明了脉冲多普勒体制带来的距离、速度模糊现象,分析了传统解模糊方法的缺陷。并提出了一种基于抖动重频相参积累的解模糊测距方法,以及一种基于参差脉组相参积累的解模糊测速方法,这两种方法可以充分利用雷达脉冲资源,将信噪比(Signal-to-Noise Ratio,SNR)提升约3d B,可以同时有效实现小目标的检测与解模糊。最后,对频率捷变相控阵雷达波达方向(Direction of Arrival,DOA)估计进行研究,具体分析了频率捷变相控阵雷达多次不相关快拍数据的积累方式,在此基础上提出了一种基于最优融合的频率捷变相控阵雷达最大似然(Maximum Likelihood,ML)测角方法。该提出方法通过对多次快拍的角度信息进行最优加权,将多次快拍数据有效积累起来,避免了频率捷变相控阵雷达因各快拍之间信噪比起伏而带来的性能损失,可明显提高测角精度,即使在SNR较低的情况下测角精度也能得到一定程度的提升。