毫米波通信系统配置大规模天线阵列,致力于满足未来无线通信系统更高速率以及更高容量的通信需求,是未来无线通信技术研究的一个重要方向。传统预编码技术中需要配置与天线数量相等的射频链路,导致硬件成本与功耗成倍增加,不利于大规模MIMO的实现,因此混合构架的预编码方案成为毫米波大规模MIMO的有效解决方案。本文主要研究毫米波大规模MIMO系统中的混合预编码算法,针对现有全连接结构混合预编码算法存在计算复杂度高的问题,提出无迭代搜索思想的全连接混合预编码方案;同时根据交替迭代思想,提出算法计算复杂度和系统性能折衷的部分连接结构混合预编码算法。本文主要工作如下:首先,本文围绕毫米波大规模MIMO,讨论了该系统的信道模型以及信道容量。分析了传统MIMO系统中的预编码技术,并通过理论分析说明传统预编码技术无法适用于毫米波大规模MIMO系统。同时介绍了全连接和部分连接两种混合预编码算法的结构。其次,本文研究了全连接结构的混合预编码算法。针对经典的OMP混合预编码算法,由于存在迭代搜索过程导致算法计算复杂度过高的问题,提出一种无迭代的低复杂度全连接混合预编码算法。该算法通过信道响应矩阵的奇异值分解（SVD）获取一组正交基,然后根据基向量与最优数字预编码矩阵的相关度来选取构建预编码矩阵的基向量,从而无需迭代搜索即可完成混合预编码矩阵的构建。仿真结果表明,所提算法能够达到逼近OMP混合预编码算法的系统频谱效率,而且算法的计算复杂度远小于OMP混合预编码算法。最后,本文讨论了部分连接结构的混合预编码算法。通过分析SIC部分连接结构混合预编码算法和半正定松弛-交替最小化（SDR-AltMin）算法,指出其算法不能适当折衷系统性能与算法计算复杂度的问题,并提出一种低复杂度的交替迭代（Lc-Alt）算法。仿真结果表明,所提算法系统频谱效率优于基于SIC的算法,稍差于SDR-AltMin算法,但算法的计算复杂度远小于SDR-AltMin算法,实现了部分连接结构中混合预编码算法的计算复杂度和系统性能之间的折衷。