基于均匀非稀疏阵列的波达方向(Direction-of-Arrival,DOA)估计技术发展至今已相对成熟,而嵌套阵列作为一种新型的稀疏阵列,具有等阵元数时孔径大、等孔径时阵元开销少、互耦误差小、布阵形式多样等多种优势,能够获得更高的阵列处理增益,吸引了国内外诸多学者的目光。本文在深入研究阵列特性与信号特性联合利用机理的基础上,设计基于异质信号分离、独立与相干信号分离以及复杂混合信号分离的DOA估计算法,尽可能挖掘嵌套阵列在精度和自由度(Degree-of-Freedom,DOF)方面的优势,主要创新点如下:1.研究独立非圆信号的DOA估计方法。针对利用非圆特性扩展虚拟阵列出现缺孔的问题,依据核范数最小准则恢复协方差矩阵缺失元素,提出一种基于矩阵填充技术的高自由度DOA估计算法。该算法首先融合协方差与椭圆协方差对多组重复虚拟阵元响应进行平均处理,然后,采用奇异值阈值(Singular Value Thresholding,SVT)法估计出协方差矩阵中的缺失元素,而缺失元素估值即为阵列缺孔对应的虚拟阵元响应,由此实现针对虚拟阵列缺孔的矩阵填充;最后利用多重信号分类(Multiple Signal Classification,MUSIC)算法求解DOA。仿真实验表明该算法利用矩阵填充技术,补全虚拟阵列缺孔,增加了阵列孔径与自由度,有效提高DOA估计精度。2.研究独立圆与非圆混合信号的DOA估计方法。针对混合条件下圆信号不具备非圆特性,无法扩展阵列进而制约自由度与估计精度进一步提升的问题,提出一种基于协方差分离重构的圆与非圆混合信号DOA估计算法。该算法依据圆信号与非圆信号椭圆协方差特性的差异,对混合信号进行分离。针对非圆信号,首先根据椭圆协方差及其共轭不为零的特性来扩展虚拟阵列,然后采用矩阵填充技术和无需谱峰搜索的求根MUSIC(RootMUSIC)算法完成该类信号的DOA估计;进一步,利用直接Toeplitz重构技术分离出圆信号分量,最后完成圆信号的DOA估计。仿真结果与分析表明,基于圆与非圆异质信号分离的DOA估计方法在相同阵元数条件下所需估计的信号数目减少,等价提高了阵列自由度,从而获得更优的DOA估计性能。3.研究独立与相干混合非圆信号的DOA估计方法。针对独立与相干信号并存时现有解相干算法损失自由度且忽略非圆特性因而精度受限的问题,利用非圆特性构造一种新的虚拟阵列,并提出一种基于共轭对称不变性分离混合信号的DOA估计算法。该算法依据独立非圆信号的共轭对称不变性,完成相干非圆信号的分离,从而可针对独立与相干这两类非圆信号进行单独估计。首先利用非圆特性对嵌套阵列的每个子阵进行一种新的非圆扩展,并依据公共谱峰搜索理论求解各子阵的DOA估计值及其所有可能值,通过求两子集的交集确定独立非圆信号的DOA估计值;然后,利用共轭对称不变性去除协方差矩阵中的噪声分量与独立非圆信号分量,得到仅含相干非圆信号分量的等效协方差矩阵,并进一步完成相干非圆信号的DOA估计。仿真分析表明,这种基于信号分离的分步DOA估计方法有效提高了自由度和DOA估计性能。4.多种信号复杂混合场景下的DOA估计应用中,存在相干信号时,协方差分离重构方法失效,存在圆信号时,共轭对称不变性分离方法性能恶化,针对此问题,提出一种基于稀疏重构理论的先分离、再估计的高自由度DOA估计算法。该算法针对非圆信号中仅含独立成分的情况,首先分离圆与非圆信号,然后对协方差、椭圆协方差及其共轭分别进行矢量化处理并构造扩展的二维冗余字典,这一分离处理实质上等价提高了阵列自由度;针对非圆信号中独立与相干成分并存的情况,则利用协方差构造二维冗余字典;再进一步对代价函数进行凸松弛并求取二维DOA估计结果,其中重叠角度即为DOA估计真值。仿真结果与性能分析表明,该算法通过建立稀疏重构模型避免了空间平滑等算法的孔径损失,有效提高了自由度与估计精度,同时根据信号特性进行分离处理,能够获得更优的估计性能。