到达角（DOA）估计是阵列信号处理的一个重要研究方向,其广泛应用在弹载被动阵列测角、语音信号处理、5G通信、射电天文等领域。随着现代信息技术的不断发展,DOA估计所面临的信号环境正变得日趋复杂。较高的测角精度和角度分辨力以及较低的计算复杂度往往是实际应用中所需要的,并且一些特定场景要求DOA估计算法具有二维测角能力、欠定DOA估计性能以及低信噪比、小快拍数下的适应能力。因此,本课题重点研究了雷达信号处理领域的互质阵列DOA估计问题、语音处理领域的准平稳信号DOA估计问题以及基于时频分析的宽带非平稳的线性调频（LFM）信号的DOA估计问题。对于互质阵列的DOA估计问题,论文首先从子阵解模糊求解思路出发,提出了基于多重旋转不变估计技术（MI-ESPRIT）和查找表（Lookup Table）的常规互质阵列DOA估计方法。MI-ESPRIT算法充分利用各子阵阵元之间的关系,提高了测角精度,同时避免了谱峰搜索,减少了算法计算量。两个子阵测角结果相结合进行解模糊时面临遍历搜索问题,而本文基于查找表方法来解模糊,减少了解模糊时的计算复杂度。再借助两个子阵列信号子空间之间存在的变换关系,避免了多信号DOA估计时的匹配错误。这种求解方法测角速度极快,精度较高,没有匹配错误,占用存储空间小,适合工程化应用。然后论文从矢量化虚拟域求解思路出发,对增广互质线阵进行建模,基于矩阵补全理论提出了性能更加优异的DOA估计方法。通过构造选择矩阵,论文可以直接对连续虚拟阵元的协方差矩阵进行操作,不需要协方差矩阵矢量化和空间平滑运算,并且通过构造误差抑制最小化函数避免了噪声和有限快拍带来的误差影响。在得到补全后虚拟阵元对应的协方差矩阵后,基于ESPRIT算法就可以实现DOA估计。这种求解方法进一步提升了DOA估计的自由度,同时由于论文基于矩阵补全理论填充了虚拟阵列的孔洞,扩大了虚拟阵列孔径,从而算法的测角精度也得到大幅提升。对于准平稳信号的DOA估计问题,为了提高准平稳信号在低信噪比和小快拍数下的测角性能,论文在稀疏重构的框架下提出了性能更加优越的算法。首先,论文基于增广互质线阵研究了准平稳信号的DOA估计问题。基于增广互质线阵对准平稳信号进行建模,充分利用增广互质线阵在虚拟域所具有的高自由度、大阵列孔径的优势,并且基于稀疏重构进行角度参数的估计。与基于均匀线阵和嵌套线阵的测角算法相比,本文提出的算法不仅能大幅增加测角的自由度,也提高了测角精度。然后,论文在On-grid类稀疏重构框架下,基于均匀圆阵构建了方位角和俯仰角的二维过完备基,同时把准平稳信号的二维DOA估计问题转化为误差抑制的凸优化问题。为了求解此凸优化问题,本文提出了两种求解思路。一种是使用CVX工具求解,另一种是基于交替方向乘子法（ADMM）把整体优化问题转化为多个无互耦的子问题,再并行迭代求解,后者相较前者大幅提高了计算效率。由于在稀疏重构框架下充分利用了均匀圆阵的二维联合稀疏表示,所以本文提出的算法不仅具有较好的测角性能,而且入射信号的方位角和俯仰角可以被同时估计出来。最后,论文考虑上述建模中存在的模型失配的问题,在Off-grid的框架下研究了基于稀疏贝叶斯学习的准平稳信号DOA估计问题。论文从稀疏贝叶斯的角度重新描述重构模型中的变量,再利用最大期望迭代算法去求解准平稳信号的DOA。由于论文基于一阶泰勒展开构建Off-grid模型,这在一定程度上缓解了基失配造成的影响,所以这种方法的测角性能有较大提升。对于宽带非平稳的LFM信号在时频域内存在交叠时传统测角算法失效的问题,论文分别在短时傅里叶变换（STFT）和威格纳-维尔分布（WVD）时频域内研究了基于霍夫（Hough）变换的单信号时频点选择算法。首先论文分别在STFT和WVD变换域内,基于经验阈值滤除噪声项时频点,并且在WVD时频域内还需要根据预白化算法移除互项时频点。然后,论文基于Hough变换移除时频域内的多信号时频点,得到单信号时频点集合,再根据同一信号的时频点对应的空间时频分布矩阵（STFD）具有相同的特征矢量的性质求出隶属于各个信号的单信号时频点集合。最后论文根据每个信号的单信号时频点分别构造平均STFD矩阵,实现DOA估计。由于论文提出的算法准确获取了隶属于每个信号的单信号时频点,所以所提算法具有较好的测角精度和角度分辨率,同时具有欠定DOA估计能力。除此之外,在STFT分布域内,所提算法还能解决多个信号相交于一点时DOA估计问题,是一个较大的创新,仿真试验和微波暗室实测验证了所提算法的有效性。