随着移动智能设备的爆发式增长,人们对通信系统性能的要求不断提高,4G通信系统难以满足用户日益增长的业务需求,5G通信系统应运而生。大规模MIMO预编码技术作为5G的关键技术有效降低发射功率和系统复杂度,满足用户对高速率数据传输需求的同时响应国家“绿色通信”的号召,在移动通信领域发挥着重要作用。因此大规模MIMO系统预编码算法的研究与优化对提升5G系统性能具有重要意义,成为5G通信系统的研究热点。针对单小区多用户大规模MIMO系统下行链路预编码实现复杂、线性预编码矩阵求逆困难等问题,本文以降低系统复杂度为优化目标,提出一种基于SSOR-PCG的低复杂度预编码算法。该算法在共轭梯度算法的基础上,采用对称逐步超松弛分裂算法对矩阵进行预处理以降低矩阵的条件数,从而降低系统复杂度、加快预编码算法收敛速度。仿真结果表明,本文所提出的SSOR-PCG预编码算法有效避免矩阵求逆,降低系统复杂度约1个数量级,且收敛速度快,系统容量性能近似最优。针对FDD工作模式下大规模MIMO系统导频开销大、下行预编码实现复杂等问题,本文提出一种基于密度聚类的两阶段预编码算法。该算法利用密度聚类对用户进行分组,将具有相似信道自相关矩阵的用户进行归类,然后采用传统ZF线性预编码算法分别对组间用户和组内用户进行预编码处理,从而降低系统开销。仿真结果表明,本文所提两阶段预编码算法不易陷入局部最优解,降低系统复杂度的同时获得更为优异的系统性能,当信噪比为35d B时,相较于ZF预编码算法,所提两阶段预编码算法系统可达和速率性能增加约26.30%,系统容量性能增加约73.21%。