大规模多输入多输出(MIMO)系统在基站侧配置大规模天线阵列以获得更大的分集增益,能显著提高系统容量,是第五代移动通信系统(5G)的关键技术之一。然而,大量天线的使用会带来计算复杂度和能耗等的大幅增加,因此,设计低复杂、低能耗、高性能的预编码算法是大规模MIMO下行链路要解决的关键问题之一。本论文的主要工作放于三点:1)研究低复杂、高可行性的线性预编码算法;2)为节约成本和能耗,同时有效降低信号的非线性失真,研究低峰均功率比(PAPR)非线性预编码算法,3)针对毫米波大规模MIMO系统的特殊性,研究更为适用的数字-模拟混合预编码算法。本文围绕这三点所做的主要研究内容和贡献有:(1)研究低复杂度的线性预编码算法。首先给出了大规模MIMO线性预编码系统模型,并简要介绍了最大比传输(MRT)、迫零(ZF)、规则化迫零(RZF)三种典型线性预编码算法,并对它们的性能进行了仿真研究。然后针对性能最优的RZF预编码算法中存在的大型矩阵求逆问题,提出了一种基于高斯-赛德尔(GS)迭代的RZF预编码(RZF-GS)算法,并给出了一种更快收敛的初始解。该算法能实现近似RZF预编码的性能以及计算复杂度的降低。(2)考虑到线性预编码会导致发送信号的PAPR过大时,需要使用高成本、高能耗的功率放大器(PA)等线性器件,会严重降低大规模MIMO系统的可行性,因而需要研究低PAPR的非线性预编码方案,并同时保证系统性能。在该方面研究中,首先给出了非线性预编码模型,介绍了恒包络(CE)、环约束(AC)两种典型算法,并给出了两种方案的快速收敛迭代求解方案。最后,重点针对两种算法的不足,结合大规模MIMO信道特性,提出了一种基于置信传播(BP)算法的低PAPR(LP-AMP)非线性预编码方案,该算法能够实现PAPR的降低,保障传输性能,并具有更低的计算复杂度。(3)研究大规模MIMO技术与毫米波(MmWave)技术结合使用时,如何提升其可实现性,重点研究更适用于毫米波大规模MIMO系统的数字-模拟混合预编码算法。为此,首先给出了全连接的混合预编码系统架构,后研究了渐进最优的正交匹配追踪(OMP)混合预编码和低复杂度的Beam Steering混合预编码算法,最后,重点利用毫米波大规模MIMO基站侧天线响应矩阵渐进酉的特性,提出了一种低复杂度的渐进酉混合预编码(AUHP)算法,并给出了更迅速收敛的基于压缩采样匹配追踪(CSMP)的接收矩阵求解方案。