非平稳信号广泛地存在于自然界中。在军事及国民经济领域,许多典型的信号都具有明显的非平稳特性。可以说,对各类非平稳信号处理技术的研究已经逐渐成为整个信号处理学科最核心、最重要的任务之一。作为传统Fourier变换的广义形式,分数阶Fourier变换(FrFT)实质上是一种统一的时频表示。在各种时频分析工具中,FrFT具有明确的物理意义、统一的描述方法、优良的数学性质以及高效的离散算法,被广泛地应用于雷达、通信、地质勘探、生物医学等领域。本文结合FrFT的基本理论及快速离散算法,对多分量信号参数估计、宽带非平稳阵列信号处理、时频滤波器设计等问题进行了较为深入的研究,主要创新性成果包括以下几个方面:为了实现噪声背景下线性调频(LFM)信号参数的精确估计,提出了一种基于FrFT和离散谱校正的LFM信号参数估计方法。该方法将LFM信号的参数估计问题转化为分数阶Fourier域上的二维谱峰搜索过程,并将能量重心谱校正法引入谱峰搜索过程,在不增加运算量的基础上实现了谱峰位置的超分辨率估计。在此基础上,提出了一种基于Radon-Ambiguity变换(RAT)和FrFT一维谱校正的LFM信号参数估计方法,将传统方法中的二维谱峰搜索转化为两次一维谱校正过程,进一步降低了算法的复杂度。最后,对高斯白噪声环境中的校正精度进行了理论分析,并进行了仿真实验。针对现有的宽带LFM信号波达方向(DOA)估计方法仅适用于各种规则阵列的问题,提出了一种基于FrFT、并适用于非规则几何结构阵列的DOA估计新方法。该方法利用FrFT对LFM信号的聚焦性,建立起分数阶Fourier域阵列数据模型,然后结合常规子空间算法的思想,在分数阶Fourier域上定义了非规则子阵列间的广义旋转矩阵,最后利用该矩阵构造空间谱函数,并通过谱峰搜索的办法实现了多个LFM信号的一维和二维DOA估计。理论分析证明了该方法是传统FrFT-ESPRIT算法的广义形式,仿真实验的结果证明了该方法的有效性。针对非规则部分校准阵列情况,提出了一种宽带LFM信号二维DOA估计新方法。该方法在空域和时域同时对信号进行采样,利用观测样本的FrFT峰值构造出新的时频空DOA矩阵,进而通过特征值分解的方法实现多个LFM信号的二维DOA估计。该方法充分挖掘了观测信号所包含的时频信息,降低了对阵列结构和阵元一致性的约束,使其适用于阵元几何结构不规则且大部分阵元未经校准的阵列。仿真结果显示,在DOA估计的均方根误差(RMSE)相同时,与传统方法相比,该方法可获得较大的信噪比增益。提出了一种相干宽带LFM信号DOA估计新方法。该方法利用FrFT对LFM信号的解线调特性,构造出新的解线调域阵列数据模型,然后结合传统的矩阵重构解相干以及MUSIC算法实现相干LFM信号的DOA估计。若同时存在多组相干LFM信号入射,则首先在不同的能量聚集域上将各信号组分离,然后逐一进行各组内相干信号的DOA估计。该方法对观测信号的利用更加充分,提高了空间分辨性能和抗噪声性能。此外,该方法无冗余阵元与孔径损失,且适用于任意流形阵列,具有广泛的应用前景。为了实现复杂噪声背景下信号波形的无失真恢复,提出了一种基于Gabor变换(GT)和支持向量机(SVM)的分数阶Fourier域滤波器设计方法。该方法利用GT获得观测信号的时频分布,然后结合图像分割技术以及SVM分类算法实现时频面上不同信号和噪声区域的分离并确定最优分类线,进而根据分类线的参数确定滤波器的阶次和传递函数。对于时频区域线性不可分情况,提出对SVM分类线进行分段线性拟合,进而根据拟合方程构造并行多阶滤波器组。该方法利用机器学习实现滤波器参数的全局寻优,且整个设计过程无需信号和噪声的先验知识,同时满足了滤波器的可靠性和通用性要求。对时频滤波器的具体应用进行了研究。分别将本文提出的滤波器设计方法应用到SAR多运动目标检测与成像以及Wigner分布交叉项抑制问题中,取得了良好的效果。对算法的具体实施流程进行了讨论,并针对不同的应用环境分析了算法的侧重点与改进措施。仿真实验的结果证明了所提方法的有效性。