近几十年来,阵列信号处理被广泛应用于雷达、声纳、无线通信、麦克风阵语音处理和医学成像等领域。首先,为了获取更高的分辨率、更强的干扰抑制能力和更远的探测距离,现代阵列采用的阵元数目越来越大,使得传统的自适应处理方法的计算复杂度显著增加,难以实时处理。其次,受到外部环境和硬件水平的限制,自适应阵列处理所需要的训练样本数目并没有同步得到提升。针对大规模阵列处理面临的高维小样本问题,我们从提高收敛速度和降低计算复杂度两个方面对阵列信号处理中的波达方向估计(DOA)、自适应波束形成和空时自适应处理方法进行了研究。本论文的主要研究内容和成果包括以下几个方面：1.利用目标辐射源空间分布的稀疏性,提出了两种基于稀疏表示的多快拍联合DOA估计方法。第一种方法利用采样数据矩阵大奇异值对应的左奇异向量近似信号子空间,然后采用加权迭代最小方差方法对信号空间进行稀疏表示进而确定出目标方位。第二种方法对传统的基于协方差矩阵稀疏表示的模型进行改进,提出一种新的基于样本协方差矩阵稀疏表示的联合波达方向估计方法。该方法仅利用协方差矩阵的部分信息进行DOA估计,不需要估计噪声功率,以一个阵元的孔径损失换取算法的稳健性。与传统的角度高分辨估计方法不同,基于稀疏表示的DOA估计方法对具有相干性的信号源能进行有效估计,不需要进行去相关处理。2.通过对最优自适应波束形成权矢量构成进行分析,发现最优权仅位于低维的干扰加信号子空间中。根据经验,一般系统设定的所要抑制的干扰数目都远小于系统自由度。因此一旦干扰空间和信号导向矢量已知,只需求解一个低维的组合矢量即可求得自适应权矢量,同时也降低了算法的计算复杂度。我们首先构造一个完备的干扰加信号子空间(IPSS),然后对组合矢量进行稀疏约束,找到一组列数最小的信号加干扰子空间来构造自适应权。与传统的降秩方法不同,所提方法不需要已知干扰的数目,且对多种常见的不匹配情况稳健。3.非均匀杂波环境下,空时自适应处理的关键在于如何在样本较少时准确估计杂波协方差矩阵(CCM)。首先,根据杂波谱的稀疏性,采用少量样本可估计出杂波功率谱,进而估计出CCM。基于稀疏表示的杂波协方差矩阵估计方法仅利用少量样本即可达到较好的CCM估计效果,明显提高了空时自适应算法(STAP)的收敛速度。然而采用少量样本稀疏表示估计所得的杂波谱常出现伪峰,容易造成CCM估计偏差。利用杂波谱分布的特殊空时耦合性,通过杂波脊曲线拟合方法剔除杂波谱中的伪峰,有效提高了CCM估计精度。另外,该算法还可以对载机飞行参数(载机速度,偏航角等)进行估计。4.针对传统空时自适应处理计算量大的问题,提出一种基于权矩阵低秩逼近的快速空时自适应处理方法。与传统的低秩逼近算法不同,我们利用空时导向矢量特殊的Kronecker累积性,重新构造新的权矩阵,使得该权矩阵的行数与列数尽可能的相同或相近。采用低秩逼近方法对新构造的权矩阵进行表示,提高了自适应权的自由度,而且原二次优化问题被转化为一个双二次代价函数问题,可以采用双迭代方法进行求解。5.传统的降维降秩类空时自适应处理方法虽然提高了系统的收敛速度,降低了计算复杂度,但是不同的方位、多普勒需要重新计算自适应权,计算量依然很大。针对小样本情况,我们提出一种基于核方法的快速自适应处理方法,能有效的降低权更新的计算量。由于自适应权仅位于干扰加信号子空间且训练样本主要由干扰组成,通过训练样本和目标空时导向矢量的线性组合来构造自适应权。因而只需计算一个低维的组合矢量,避免了直接对协方差矩阵进行求逆,大幅降低了计算量。针对当样本数超过干扰自由度时,权矢量易受病态Gram矩阵求逆影响的问题,采用三种正则化方法解决病态求逆问题。