随着移动数据需求的大幅度增长,低频段的通信已无法满足快速增长的数据流量需求,高频段通信已经得到了工业界专家学者的关注和研究。由于在30GHz-300 GHz的毫米波频段具有大量的频带资源优势,使得其成为实现1OGbps吞吐量的室内无线局域网和第五代移动通信的关键频段。混合波束成型技术和多输入多输出技术的结合可以进一步提高系统吞吐量并且支持多个数据流的传输,已经成为毫米波通信的关键技术。因此,本文围绕混合波束成型技术进行了研究,开展了如下工作:首先,本文详细地阐述了混合波束成型技术。针对毫米波信道的传播特点,重点分析了其自由空间损耗、降雨衰减和渗透损失等特征。进一步介绍了 45GHz信道模型,最后详细地阐述了混合波束成型技术的定义、架构模型以及求解方法,为后续章节的研究奠定了基础。其次,本文提出了两种求解分离型子阵列天线加权矢量的方案。第一种求解方案是利用码本基于子阵列干扰消除的思想确定天线子阵列的天线加权矢量,而第二种求解方案通过两级优化确定天线子阵列的天线加权矢量。仿真结果表明所提出的两种求解方案实现的性能均优于现有文献方案,并且可以有效的降低系统复杂度。第三,本文提出了一种基于信干噪比最大化求解分离型子阵列架构模拟波束成型的算法,并设计了一种单用户毫米波MIMO混合波束成型传输方案。根据所提出的算法双向交替优化发射端和接收端子阵列的天线加权矢量,进而确定模拟波束成型,再进一步求解数字波束成型。仿真结果表明,所提算法收敛速度快,计算复杂度低,并且基于该算法设计的单用户毫米波MIMO混合波束成型传输方案在实现性能和复杂度关系上能够获得很好的权衡。最后,本文提出了一种基于波束半正交的多用户公平调度算法。针对毫米波多用户MMO混合波束成型系统,在提出的多用户非对称混合波束成型架构基础上,提出了一种既能考虑到用户的分集增益又可以兼顾用户之间公平性的调度算法。仿真结果表明,所提出的公平调度算法在性能无明显损失情况下可以很好地实现用户间的公平性。