波达方向(Direction of Arrival,DOA)估计,又称为测向技术,作为阵列信号处理领域中一个重要的研究分支,广泛应用在雷达、声呐、导航和通信等军事和民用领域。空间谱估计技术能够以较高的测向精度分辨同一波束内的多个入射信号,其良好的测向性能一般是基于入射信号不相关或相关度较低这一假设条件。然而,在实际测向环境中,由于各种干扰以及山体、云层和建筑物等障碍物的反射会引发电磁波的多径传播,进而导致相干信号大量存在,因此不相关信号和相干信号共存是实际测向系统中较为常见的信号形式。传统的适用于不相关信号的空间谱估计算法在处理相干信号时,其信号协方差矩阵会出现秩亏损,从而导致算法性能急剧下降,甚至失效。所以,研究由不相关信号和相干信号构成的混合信号的DOA估计算法具有重要的现实意义。本文围绕混合信号的DOA问题展开深入研究,针对现有算法存在的一些问题提出相应的解决方法。论文所做的主要研究工作如下:首先,针对如何降低运算复杂度和扩展有效阵列孔径的问题展开研究,提出一种基于实值运算的混合信号DOA估计算法。在该算法中,酉变换原理的采用为在实数域内对不相关信号和相干信号进行DOA估计奠定了基础。在算法执行过程中,采用斜投影算子对不相关信号与相干信号分开进行处理,然后构造实值增广矩阵和实值旋转不变子阵,并且基于Hankel矩阵重构原理分别实现不相关信号和相干信号的DOA估计。算法执行过程中涉及两次增广矩阵的构造,扩展了有效的阵列孔径。此外,通过引入罚因子将衰减系数的估计问题转化成求解改进的约束二次最小化问题,增强了解的稳定性。计算机仿真实验验证了所提算法的有效性。其次,针对如何充分利用入射信号的极化多样性来提高测向精度和角度分辨力的问题,提出了两种基于矢量传感器阵列的混合信号DOA和极化参数联合估计算法。第一种算法是基于正交偶极子均匀线阵的一维混合信号的DOA和极化参数联合估计算法,该算法根据特征值的模特性来区分不相关信号与相干信号,并利用子阵的旋转不变特性、导向矢量重构、Hankel矩阵重构解相干以及最小二乘理论来分别估计出不相关信号和相干信号的DOA和极化参数。但是根据空间Nyquist采样准则,该算法要求所用阵列的阵元间距必须限制在入射信号的半波长以内。第二种算法是基于空间分离的矢量传感器阵列实现二维混合信号的DOA-极化参数的联合估计,首先提出一系列空间分离的矢量传感器阵列,并基于这些阵列实现二维的DOA和极化参数联合估计。该算法对不相关和相干信号分别采用粗估计和精估计相结合的方式实现无模糊的精确DOA估计。此外,算法中阵元间距可以远大于半波长,有效地扩展阵列孔径,提高了测向精度。计算机仿真实验验证了两种算法具有良好的联合估计性能。最后,针对如何不借助额外的解相干操作和信源数估计算法来实现混合信号的DOA估计问题,提出了一种稀疏贝叶斯框架下的混合信号DOA估计算法。为了促进稀疏解,该算法中提出了一个新的三阶稀疏先验,称为Gauss-Exp-Chi2先验。基于该先验可以构建三阶稀疏贝叶斯模型,相关的模型参数则采用变分贝叶斯理论进行求解,再通过构建功率谱函数即可得到入射信号的信源数估计和DOA估计。不同于子空间类算法,该算法的DOA估计性能不依赖于解相干操作和信源数估计结果的准确性,使得该算法具有更高的可靠性。计算机仿真实验验证了该算法的有效性。