近三十年来,无线通信业务量剧增,第五代移动通信（The 5th Generation Mobile Communication,5G）应运而生。毫米波、大规模多输入多输出（Massive Multiple-Input Multiple-Output,Massive MIMO）和波束赋形是5G三大核心技术。其中全数字波束赋形（Digital Beamforming,DBF）性能理想,硬件成本和能耗较高。全模拟波束赋形（Analog Beamforming,ABF）硬件成本低,性能表现差。而混合波束赋形（Hybrid Beamforming,HBF）技术能够实现期望性能和硬件成本间的折衷,但其在模拟域的处理存在恒模约束,系统不能获得全部天线增益,存在性能损失。其次,移动通信中传统的正交多址（Orthogonal Multiple Access,OMA）技术中存在一个资源块被单用户独占的问题。因此,本文结合毫米波通信、Massive MIMO技术和波束赋形技术,分别针对混合波束赋形的性能损失和OMA技术中一个资源块被单用户独占的问题,研究了毫米波Massive MIMO系统的混合波束赋形算法。针对混合波束赋形性能损失的问题,基于部分连接架构下的毫米波Massive MIMO系统,以最大化系统频谱效率为目标,提出一种混合波束赋形算法。首先基于奇异值分解得到最优全数字波束赋形,然后利用矩阵特性交替更新模拟和数字波束赋形,将非凸问题转化为凸优化子问题,在小范围内求解模拟域的元素相位增量。仿真结果显示该算法在所考虑的信噪比（Signal to Noise Ratio,SNR）范围内的平均频谱效率分别是部分连接架构下的经典算法、全模拟波束赋形、全连接架构下经典算法和全数字波束赋形的108.8%、168.1%、98.7%和97.6%。即,所提算法性能优于部分连接架构下的经典算法和全模拟波束赋形的性能,与最优全数字波束赋形及全连接架构下经典算法的性能接近,但硬件复杂度和功耗更低。针对OMA技术中一个资源块被单用户独占的问题,引入非正交多址（Non-Orthogonal Multiple Access,NOMA）技术,提出了两种用户分组、功率分配和混合波束赋形方案。首先,基于K均值聚类算法,根据用户间的信道相关性,提出了一种用户分组方案。在此基础上,提出了一个功率分配和混合波束赋形的联合优化问题。然后,将信漏噪比（Signal to Leakage plus Noise Ratio,SLNR）作为性能目标,可将原问题的两个变量解耦从而迭代地求解。然后,基于初始波束赋形矩阵,通过引入辅助正实变量,将功率分配问题转化为一个凸问题,再基于卡罗需-库恩-塔克（Karush-Kuhn-Tucker,KKT）条件和拉格朗日（Lagrange）乘子法解得最优功率分配闭式解。最后,基于广义特征值分解（Generalized Eigenvalue Decomposition,GED）求得最优全数字波束赋形矩阵的闭式解。基于此矩阵,根据对模拟域和数字域的不同优化方法,设计两种混合波束赋形算法。仿真结果显示在所考虑的信噪比范围内,经典的NOMA方案的平均频谱效率和平均能量效率分别是所提方案2的24.8%和24.7%,分别是所提方案1的32.8%和32.7%。经典的OMA方案的频谱效率和能量效率分别是所提方案2的0.45%和1.17%,分别是所提方案1的0.61%和1.55%。即,所提出的两种用户分组、功率分配和混合波束赋形的联合方案频谱效率和能量效率优于经典的NOMA方案和OMA方案。