毫米波丰富的频谱资源和短波长可以分别解决当前通信中频谱资源不足问题和MIMO通信系统中多天线的硬件集成问题,但是毫米波通信中传输损耗严重的问题同样不容小觑,而波束成形可以实现定向传输信号,弥补毫米波通信中严重的路径损耗。毫米波多用户MIMO通信系统中的混合波束成形技术同时具备了模拟波束成形和数字波束成形的优势,从而实现了复杂度和性能的良好折中。毫米波多用户MIMO通信系统中的混合波束成形技术的研究对未来无线移动通信系统演进有很强的技术参考意义。首先针对现有的自适应解决混合波束成形的方法存在复杂度较高,系统总频谱效率性能较差问题,本文提出了一种复杂度比较低的混合波束成形算法。该算法将混合波束成形问题分为两步进行,首先求解出每个用户的模拟波束成形矩阵,在此基础上求解基站端的模拟波束成形矩阵;在得到基站端和用户端的模拟波束成形矩阵的基础上得到等效的基带信道,然后利用块对角化数字波束成形算法求解基站端和用户端的数字波束成形矩阵。通过仿真实验分析,所提算法的复杂度在只有GLRAM算法的复杂度三分之一的情况下,所表现的系统总频谱效率是略高于GLRAM算法的;同时所提算法的系统总频谱效率是远远高于Hy-BD算法的,在信噪比为0d B时,大概比HY-BD算法高出10bit/s/Hz。虽然上述算法降低了自适应波束成形的复杂度,但是由于自适应波束成形本身复杂度就偏高,所以在实际非视距情况下,多采用基于波束配对搜索的混合波束成形方法。本文针对现有的分层波束搜索算法所表现出搜索成功率较低和系统总频谱效率不佳的情况,提出了一种改进的分层波束搜索算法,通过保存次优波束对的方法最终搜索出理想的基站端和用户端通信波束对,在信噪比为15d B下,相比于现有的分层波束搜索算法,改进的分层波束搜索算法的搜索成功率得到了20%的提高,系统的总频谱效率得到了10bit/s/Hz的提升。上述改进的分层波束搜索算法是针对现有分层码本的波束搜索,但是现有的分层码本最后一层中的波束矢量存在指向性不够精确的问题,本文针对此问题又提出了指向性更加精确的扩展码本,并将分层码本和扩展码本的整体定义为联合码本。首先针对联合码本提出了联合码本的波束搜索算法;然后针对联合码本的波束搜索算法中没有考虑到用户干扰的问题,又提出了联合码本中考虑用户干扰的波束搜索算法。通过仿真实验分析,两种算法下系统的总频谱效率均得到提升,例如在信噪比15d B的条件下,两种算法的系统总频谱效率比上述改进的分层波束搜索算法高出了20bit/s/Hz左右,由此证明了所提扩展码本的可行性以及所提两种波束搜索算法的有效性,并且根据仿真结果,分别给出两种算法适用的场景。