阵列信号处理具有众多优点，如：波束控制灵活、空间分辨能力高、稳健性强以及信号增益高等，在雷达、声纳、通信等众多军事及国民经济领域得到了广泛应用，波束形成和DOA谱估计是阵列信号处理的两个主要分支。理想信号环境下，许多学者已研究出了许多常规波束形成方法和DOA谱估计。但是实际应用中，干扰信号环境往往比较复杂，如多径效应或军事通信中敌方有意实施的干扰等情况，此时，常规的自适应波束形成方法性能严重下降，相干信号源的信号子空间和噪声子空间互相渗透，导致一些超分辨子空间类算法如多重信号分类（MUSIC）和利用旋转不变技术进行信号参数估计（ESPRIT）失效，不能对相干信号进行有效分辨或测向。因此，有必要研究相干干扰背景下的自适应波束形成方法和信号目标方位估计算法。本文主要研究相干环境下的波束形成及DOA谱估计。首先，介绍了相干环境下的波束形成及DOA谱估计的研究意义和现状。其次，针对辅助变换波束形成方法（CTMV）对相干干扰有较好的抑制，但对非相干干扰的抑制不足，研究了一种改进的辅助变换自适应波束形成方法（ICTMV）。该方法同时约束非相干干扰与相干干扰，更好地实现对此两类干扰方向的自适应零陷滤波。采用变换预处理，避免抑制期望信号；采取恢复噪声特性和对角加载技术，增强算法稳健性；采用拉格朗日乘子法得到最优波束形成算法。理论分析与仿真结果表明，保持阵列孔径不变时，该算法提高了输出信干噪比和稳健性。然后，利用加权空间平滑算法AWSS去相干能力很强和基于Toeplitz矩阵的全阵空间平滑方法SS-Toeplitz可保持大的阵列孔径的优点，但为了弥补AWSS方法阵列孔径较小及AWSS和SS-Toeplitz方法稳健性不好的不足，本文研究了一种稳健的全阵波束形成方法。采用加权空间平滑算法去除相干性；对期望信号施加约束，保证一定角度估计误差范围内算法的稳健性；进行全阵波束形成变换，避免阵列孔径损失。仿真结果表明，在相干干扰环境中，该算法的方向图在期望信号方向有明显主瓣，有利于接收期望信号；在一定的角度估计误差范围内，该算法可保持比较高的、且比较平坦的输出信干噪比；随着输入信噪比的增加，输出信干噪比几乎线性增大。最后，针对常用的超分辨子空间类算法对相干信号失效和矢量奇异值（SVD）算法在低信噪比条件下分辨率下降的问题，本文提出一种基于改进SVD的相干信号DOA估计方法。首先利用信号协方差矩阵的最大特征矢量，按一定规则重构一个协方差矩阵；然后利用矩阵分解思想，修正重构矩阵，以增强去相干能力；最后采用ESPRIT方法进行DOA估计。仿真结果表明，在低信噪比情况下，该方法对相干信号的DOA估计成功概率高、估计偏差小、估计标准误差低。