无线测向问题可以追溯到无线通信的起始阶段，由于其在通信、雷达、声呐、导航等方面的应用而引起了学术与工业界的广泛关注。自二十世纪初以来，高频环境下信号产生器和信号放大器的显著发展极大地扩展了到达角(Direction of arrival, DOA)估计系统的能力和适用性。随着大规模多输入多输出(Multiple-input multiple-output, MIMO)系统出现，全数字结构具有电路成本高等瓶颈问题，混合结构由于其电路成本与计算复杂度低，自然而然获得了广泛地关注和研究。论文围绕大规模MIMO系统的混合波束成形与方向估计算法开展研究，主要研究内容与创新点如下：
　　1)针对大规模混合结构MIMO系统DOA估计相位模糊问题，提出了三种高性能的DOA估计方法：混合先模拟后数字相位对齐(Hybrid analog and digital phase alignment, HADPA)、混合先数字后模拟相位对齐(Hybrid digital and analog phase alignment, HDAPA)与基于根值多重信号分类的混合先数字后模拟相位对齐(HDAPA-basedroot multiple signal classification, Root-MUSIC-HDAPA)，并推导了混合结构下方向估计的克拉美罗下界(Cramer-Rao lower bound, CRLB)。仿真结果表明，所提HADPA算法能保证DOA估计性能达到数字CRLB，所提HDAPA与Root-MUSIC-HDAPA算法均能保证DOA估计性能达到混合结构的CRLB，而Root-MUSIC-HDAPA算法由于无需线性搜索，因此其复杂度最低，可实现估计性能与复杂度之间的最佳平衡。
　　2)为了解决混合结构下低信噪比性能恶化问题，提出基于机器学习DOA估计框架以提高估计精度。针对固定的窄带入射波信号，首先采用Root-MUSIC-HDAPA算法进行多次测量形成DOA估计训练集合，然后运用机器学习中直方图方法发现DOA估计误差概率密度函数(Probability density function, PDF)服从高斯分布，最后应用最大似然学习估计DOA测量误差的均值和方差，从而获得DOA测量误差的PDF闭合表达式与相应的高精度DOA输出，即均值。仿真结果表明，随着测量次数增加，估计DOA的均方根误差性能逐步提高。
　　3)针对混合结构收发机在接收阶段会受到敌意信号干扰问题，基于对角加载与零空间投影方法，挖掘DOA估计误差的PDF，提出了稳健的混合模拟数字接收波束成形算法抑制干扰信号。仿真结果表明：同现有的非稳健对角加载方法相比，所提稳健方法在存在DOA估计误差时，具有更好的信干噪比性能，同时更鲁棒。