现今无线通信技术飞速发展,新兴应用不断涌现,无线设备数量不断增多,需要处理的数据量剧增,低频段频谱已经无法满足需求。而毫米波频段拥有大量的空闲频谱,足以支持更高速率更大容量的无线网络通信。但是因为毫米波的路径损耗大,所以可以在发射端和接收端都应用大规模天线阵列以提高增益。同时,因为在室外环境中毫米波多径较少,使得阵列信号处理技术可以在毫米波大规模天线系统中得到应用。然而传统的阵列信号处理方法在毫米波大规模天线系统中存在复杂度高的限制。本文主要研究适用于毫米波大规模天线阵列系统的低复杂度到达方向(Direction of Arrival,DOA)估计和波束成形算法,具体的研究内容如下:为了降低系统硬件的实现复杂度和功耗成本,分析比较了MUSIC、ESPRIT、ISS和CSS算法在低精度量化和全精度下的性能差异。通过仿真得出,这些算法在低精度量化时仍然具有很高的分辨率。另外,针对传统算法在天线数量增多时复杂度高的问题,通过使用基于额外矢量基的方法避免了对协方差矩阵进行特征分解,从而降低了算法复杂度。原来适用于低频段的波束成形算法由于阵元数量的增加导致复杂度过高,无法满足低时延的要求,所以无法直接在毫米波大规模天线系统中使用。本文提出了一种基于波束扫描的最小均方(Least Mean Square,LMS)算法,首先通过波束扫描对DOA进行粗略估计,然后使用该结果构造初始波束成形加权矢量,最后进行LMS迭代得出最佳波束成形加权矢量。该算法不仅能够获得和原始LMS算法相近的性能,而且还有效地缩短了收敛时间。混合波束成形架构不仅可以减少射频链路,还可以满足多流/多用户的需求。本文提出了一种可以在低精度量化下使用的简单的基于子阵列的混合波束成形技术,该技术首先在数字端利用相邻子阵列接收信号之间的频域相关性对信源DOA进行估计,然后在模拟端改变移相器的值完成波束成形。该方法不仅显著地降低了自适应宽带波束成形技术的复杂度,而且还拥有很好的性能。