随着智能终端设备和移动互联网的飞速发展,移动数据的业务量呈现爆发式增长。传统频段将难以满足业务需求,毫米波频段频谱资源较为丰富,可以有效地提高通信系统的传输速率。毫米波通信与大规模MIMO技术相互结合可以产生较大阵列增益,弥补毫米波信号在传播过程中造成的路径损耗。通信系统中配置大规模的阵列天线,在提高系统性能的同时,也需要面对硬件成本和能耗等问题。在大规模MIMO系统中,采用数字预编码可以达到理论最佳性能,但要求射频链路数与天线数相同,模拟预编码的实现复杂度低,但系统频谱效率较低。混合预编码方案结合了数字预编码与模拟预编码两种系统架构,能大幅降低系统所需射频链路数,实现性能与复杂度的折中。本文对大规模MIMO系统中的混合预编码算法进行了研究,主要研究内容与工作如下:1.研究了大规模单用户MIMO系统中基于SVD分解的全数字预编码,并将该算法性能作为混合预编码的理论界。在此基础上研究了基于OMP的混合预编码,该算法采用发端天线的阵列响应矢量来构造模拟预编码矩阵,利用毫米波信道的稀疏特性将全数字预编码矩阵分解成为一组模拟预编码矩阵与数字预编码矩阵,可以实现接近全数字预编码的性能。2.针对OMP混合预编码算法中子信道增益不同的问题,本文在单用户系统中提出了一种基于几何均值分解的混合预编码算法。该算法能够得到相同增益的子信道,可以避免采用发端阵列响应矢量作为模拟预编码矩阵的码本,也无需多次迭代更新模拟预编码矩阵。仿真结果表明所提算法的频谱效率和误码率性能均优于OMP混合预编码算法。3.研究了大规模多用户MIMO系统中基于块对角化的混合预编码,该算法采用波束配对的思想,并对等效基带信道进行BD预编码。为了提高系统性能,本文在多用户系统中提出了一种基于多流分集的SLNR混合预编码。该算法独立设计每条数据流的基带预编码矩阵,可以避免数据流间产生较大的增益差距,能够更好地保障数据流的公平性,有效地提高系统和频谱效率与误码率性能。