大规模多天线(Massive MIMO)技术是面向未来5G移动通信系统的关键技术之一。该技术通过在基站端部署数十甚至上百的天线形成天线阵列,同时向多个用户发送数据,实现了在系统容量和频谱利用率方面性能的提高。然而,由于该系统在相同的时间和频率资源传输大量的数据流,Massive MIMO系统是一个严重的自扰系统。因此,为了提高系统的可靠性,采用一定的信号处理技术来抑制干扰是必然的途径。此外,鉴于Massive MIMO系统的天线阵列规模和用户终端对信号处理能力的局限性,在下行链路的接收端的用户检测技术在该系统中并不可行,因此,预编码技术成为了Massive MIMO系统下行链路的主要干扰抑制技术。本论文以此为背景,重点研究多用户Massive MIMO系统下行链路的非线性预编码技术。论文主要研究及贡献如下：首先,本文以基于迫零准则、最小均方误差准则的线性预编码和扰动矢量非线性预编码为例,分析了在发射端能够获得理想信道状态信息条件下的预编码技术。其次,本文在发射端获得非理想信道状态信息条件下,设计出了一种矢量预编码方案。在该方案中,本文假设发射端能够获得信道误差矩阵的二阶统计信息,建立非理想信道信息模型。在该模型基础上,运用信道几何均值分解方法对信道估计矩阵进行分解,分别推导出在迫零准则和最小均方误差准则下的预编码矩阵和功率控制因子,并对现有扰动矢量搜索算法进行改进,实现了复数域的低复杂度下降矢量搜索算法,从而实现了在发射端未获得理想信道状态信息的条件下的鲁棒矢量预编码方案。仿真结果显示,在不相关的高斯信道条件下,该方案表现出了良好的误比特率性能和收敛性,并且随着发射天线个数和用户数增大,该预编码方案获得了更优的误比特率性能。最后,结合LTE下行物理层关键技术,如CRC校验、码块分割、Turbo编译码、速率匹配、码块级联、加扰、调制解调以及MIMO-OFDM实现等模块,本文搭建了LTE链路层仿真平台,在实现LTE链路层从发射到接收整个基带信号处理过程的同时,对比了基于码本的预编码与本文提出的预编码方案在LTE系统中的性能表现。仿真结果表明,在同样的环境和仿真参数下,本文提出的预编码方案较基于码本的预编码方案获得了更低的误块率,实现了系统性能的提高。