第五代（5G）移动宽带网络中的毫米波使得用小尺寸封装大规模天线成为了现实,由大规模天线阵列所带来的高波束成形增益极大的缓解了毫米波信号传输的路径耗损,因此大规模MIMO以及波束成形成为了5G通信中的关键技术。由于天线规模之大,全数字波束成形中每根天线都需要专用的射频链将导致系统的过度功耗。虽然模拟波束成形是潜在的替代方案,但它无法支持多流通信。为此,本文针对混合波束成形接收端用户的数量,研究与设计了相应的混合波束成形算法,本论文具体工作与贡献如下:（1）针对单用户低精度移相器MIMO系统,本文在现有基于迭代相位匹配的波束成形算法基础上,采用递归思想,设计了一种低复杂度混合波束成形算法。所提算法不同于已有方案随机初始化模拟波束形成器,每个模拟预编码器和合并器向量被合理地优化,以解决传统算法导致局部最优的问题。同时相比于已有方案,我们的方案不需要内外迭代过程,因此有效降低了算法的复杂度。仿真结果表明:所提出算法与迭代相位匹配算法相比,在复杂度降低为对比方案的四十分之一的同时还提升了性能。另外,考虑全连接所带来的复杂度以及不完美的CSI场景,发现模拟和数字预编码器表现出了接近正交的特性,因此可以采用基于巴拜算法的低复杂度点阵解码器。为了进一步提高可实现的频谱效率以及能量效率,我们随机停用一些移相器,类似于空间调制中所采用的方法,在设计的星座中加入了一个断开点0。基于这一原理,有限精度移相器中的可行域分为分圆集与0的并集,仿真结果表明这种结构能有效提高频谱效率。（2）针对多用户低精度移相器MIMO系统,不同于已有方案随机初始化模拟预编码矩阵（?）和模拟合并矩阵（?）,我们采用了波束到达角和波束离开角去初始化。完成初始化后,构建粗搜索波束集,也就是利用阵列响应向量对其进行满足移相器低精度的量化。得到收发端的粗搜索波束集后进行联合搜索,找出令和速率最大的粗波束矩阵,最后再利用局部搜索算法找出最优的波束成形矩阵。仿真结果表明该算法较已有方案复杂度降低了一半且具有更好的和速率。