随着移动无线通信的快速发展,人们对通信服务流量与质量的需求量日益增长,未来5G网络的流量业务需求也将日益增加。毫米波大规模MIMO异构网络可以通过密集化部署来满足用户日益增长的流量需求,但同时也会带来更严重的干扰问题。如何最大程度的消除干扰,并实现频谱效率在用户间的公平分配是现在研究的重点问题。而毫米波大规模MIMO异构网络的多天线结构使得在发射端能够对波束进行赋形,优化波束方向和功率,从而减轻甚至消除用户之间的干扰,并且最优化下行通信速率。具体通过在发送端对信号进行预编码,实现毫米波信号波束赋形,使信号能量集中于目标方向,减小非目标方向的信号能量,从而达到减小信号干扰,增大频谱利用效率和下行传输速率的目的。对于毫米波大规模MIMO系统,单纯的使用数字波束赋形技术可以增加信道容量,但由于使用昂贵的高频段射频元器件,使得毫米波设备造价高,会带来更高的成本开销。因此,本文主要利用混合式大规模MIMO波束赋形技术,考虑5G毫米波异构网络的下行用户通信优化和用户间的干扰消除,对混合式波束赋形编码中理想化波束赋形向量的进行逼近,提出最优化信道容量的波束赋形算法,以及对理想化波束赋形所产生的频谱效率公平性问题进行讨论,解决系统中的“远近”问题。主要包括以下工作:首先,本文对毫米波大规模MIMO系统进行研究。简要介绍毫米波的传播特性,分析了毫米波大规模MIMO系统的性能和资源分配问题。并介绍了毫米波大规模MIMO异构网络结构及其研究现状,分析异构网络中的通信优化问题,为后续章节的研究提供理论依据。其次,本文主要研究毫米波大规模MIMO两层异构网络场景下的波束赋形问题。对比分析数字式波束赋形,模拟式波束赋形、混合式波束赋形等现有的波束赋形技术。简要分析了使用混合式波束赋形算法的主要原因,利用正则化正交匹配追踪算法来实现混合式波束赋形,并仿真分析移相网络的分辨率对波束赋形器设计的影响。然后,考虑两层异构毫米波网络,利用存在相邻微小区之间干扰下的多用户下行毫米波传输信道模型,建立基于波束赋形的信道容量最优化问题,通过Path following算法求得目标为最大信道容量的理想化的波束赋形向量。并对系统进行蒙特卡洛仿真,分析多个参数对信道速率和频谱效率等的影响。最后,讨论了多用户信道容量分配的比例公平性、最小延迟公平性、max-min公平性,并得到公平性的通用方程。最终实现了max-min速率分配策略下的多用户下行速率提升。并仿真验证了算法的性能优势,分析了混合式波束赋形中SNR对算法结果的影响。