阵列信号处理中的信号波达方向(Direction of Arrival,DOA)估计技术在雷达、通信、语音处理等领域有着重要的应用价值。传统的DOA估计算法在大样本数,信号源彼此独立且数目不超过阵列最大信源分辨个数的情况下具有良好的估计性能。但是在实际工作场景中这些条件很难满足。当阵列结构比较复杂时,不理想的工作条件对DOA估计算法的影响更为严重。随着对系统性能的要求不断提高,需要DOA估计算法能够应对更加苛刻的工作条件。传统的DOA估计方法将阵列接收到的样本存储为一维向量或者二维矩阵,忽略了多维阵列隐藏的高维结构。张量理论能够最大程度保留样本的多维结构信息,进而提升系统信源辨识性和DOA估计的准确性。本文结合张量理论,着重研究了三种相对比较苛刻条件下的DOA估计算法,即欠定条件,小样本数和相干信号情况下的DOA估计问题。本文以多种典型阵列为例研究基于张量的DOA估计算法,说明基于张量的方法具有较广的应用范围。主要研究内容概括如下:(1)针对大样本数且信号彼此独立,但是信源数超过阵列最大信源分辨能力的欠定情况,结合差分阵列扩展阵列孔径解决欠定问题的思想,提出基于两种典型阵列的欠定DOA估计算法。第一种针对由标量传感器构成的均匀圆阵,讨论了基于矩阵和张量平行因子分解(Canonical Polyadic Decomposition,CPD)的欠定DOA估计算法。利用静态平稳信号的时域特性,通过列化每一个时间段的样本协方差构造差分阵列的一个样本,然后综合多个时间段的样本构造列满秩的接收数据,分别用基于矩阵和张量CPD方法求解DOA。理论分析和仿真证明算法能够解决欠定DOA估计问题。第二种阵列考虑电磁矢量传感器(Electromagnetic Vector Sensor,EMVS)组成的嵌套阵列,提出了结合张量CPD的DOA估计算法。首先利用张量旋转的特性将样本协方差中空域和极化域信息分开。采用基于结构最小二乘的CPD分别估计信号的DOA和极化信息。设计的算法使得EMVS嵌套阵列具有更高的自由度。然后推导了当信源数大于阵列中EMVS个数时的克拉美劳界。通过计算机仿真考察算法在不同条件下的估计性能并且验证了算法的有效性。(2)针对信号彼此独立但样本数较小时,导致多维阵列DOA估计性能下降的问题,提出了基于张量高阶奇异值分解(Higher-Order Singular Value Decomposition,HOSVD)的DOA估计算法。首先提出了基于多维阵列的多线性投影算子DOA估计算法,它同时利用张量信号子空间各个分量来构造其补空间。该算法实现DOA自动配对功能,同时HOSVD得到更准确的子空间估计来提升DOA估计性能。证明了提出的算法是基于矩阵MUSIC算法的高维扩展,且适用于非均匀阵列。仿真中以两种典型多维阵列,即多输入多输出(Multiple-Input-Multiple-Output,MIMO)雷达和方阵为例,表明该算法具有较高的估计精度。第二种算法则特别考虑了基于发射域波束成形技术的MIMO雷达DOA估计算法。首先采用基于极大极小准则的发射波束成形技术。该方法将发射功率集中到特定空域内,抑制栅瓣,同时将发射阵列具有范德蒙结构的虚拟发射阵列,通过阵列内插误差性能分析对DOA估计性能的影响,并设计了查表法补偿内插误差。最后设计了基于张量的低复杂度DOA估计方法。计算机仿真验证算法具有较高的估计性能。(3)针对小样本数且信号相干情况下许多DOA估计算法失效的问题,以采用EMVS的均匀方阵为例,提出了基于张量建模的解相干DOA估计算法。该算法用张量建模的形式结合信号的极化域信息实现解相干。然后基于HOSVD设计了DOA估计方法。再根据DOA求出信号的极化信息,同时解决了信息的配对问题。仿真分析研究了算法在不同参数和非理想情况下的估计性能,仿真表明提出的算法相对于典型DOA估计算法具有较高的估计精度。