大规模MIMO技术能够在不增加信号发射功率的前提下,有效地提升系统容量、能效与链路可靠性,已成为5G的关键技术之一。传统大规模MIMO因其信道的硬化特性,能使简单的线性预编码算法达到系统的最优性能。由于系统能够容纳更多的用户使得线性预编码的求逆运算复杂度相对较高,因此本论文研究内容之一是在不明显降低系统性能条件下,研究低复杂度全数字ZF(Zero Forcing,迫零)预编码算法。另一方面,具有丰富的频谱资源的毫米波也已成为5G的关键技术之一,且毫米波与大规模MIMO系统的相结合已成为近几年研究热点之一。然而在毫米波大规模MIMO系统中系统下行链路中全数字预编码方案硬件成本与功耗过高,因此本论文研究内容之二是部分连接的毫米波大规模MIMO系统中的混合预编码算法。绪论中阐述了大规模MIMO系统与毫米波大规模MIMO系统中的预编码技术的研究背景与研究现状,列举了两种系统所面对的机遇与挑战。第二章中分别介绍了大规模MIMO系统与毫米波大规模MIMO系统的信道模型与系统模型。首先详细说明了大规模MIMO系统中的ZF与MMSE(Minimum mean square error,最小均方误差)预编码方案,并对其进行了信道容量性能仿真对比;其次介绍了毫米波大规模MIMO系统中基于全连接与部分连接的混合预编码方案,并对现有的最优数字预编码算法、OMP(Orthogonal matching pursuit,正交匹配追踪法)混合预编码算法、SIC(Successive Interference Cancellation,可持续干扰消除法)混合预编码算法进行了仿真对比。第三章研究了传统大规模MIMO系统的单小区系统,分析了在基站侧当天线数很大时其信道状态信息主要分布在主对角线上的硬化特性。针对传统大规模MIMO系统中ZF预编码算法涉及到计算复杂度较高的大矩阵求逆问题,提出了三种低复杂度预编码方案。第一种提出了基于Lanczos低复杂度预编码方案,该方案将高维度矩阵求逆通过Lanczos算法转化为低维度三对角矩阵求逆问题,极大地降低了 ZF算法求逆的复杂度;第二种提出了基于权重二对角的低复杂度预编码方案,该方案先将雅克比迭代中的对角阵用下二对角矩阵来进行迭代,再将迭代结果与上一步迭代结果进行权重得到WTM(Weighted Two diagonal Method,权重二对角方法)算法的一次迭代结果,为了加快收敛速度,取诺依曼展开式的第一项作为迭代初始值;第三种在高斯赛德算法的基础上,提出了基于权重高斯赛德的低复杂度ZF预编码算法,即将传统高斯赛德迭代结果与上一步的结果进行权重相加,可以加快算法迭代收敛速度。以上所提的三种算法均将ZF求逆的复杂度从O(K3)降到O(K2),其中K为用户数,并且仿真结果表明性能损失较小。第四章研究分析了部分连接毫米波大规模MIMO系统,针对该系统中混合预编码问题,提出了两种混合预编码方案。第一种方案是基于带型矩阵的混合预编码方案,通过预先设计数字预编码矩阵为带型矩阵,以系统可达和速率为目标函数,设计最优的部分连接混合预编码矩阵。第二种方案是求得最优全数字预编码矩阵与混合预编码矩阵的最小误差,最终得到最优的混合预编码矩阵,并且为了进一步降低系统硬件成本与功耗,提出采用3bit量化移相器从而得到最优混合预编码矩阵。仿真结果表明,所提算法在性能和复杂度上存在一定优势。第五章为总结与展望,总结了论文中的不足并提出一些开放性问题。