随着互联网技术和多媒体应用的飞速发展,人们对数据流量的需求变得越来越高,这就要求下一代无线通信技术(5G)拥有更高的通信容量。大规模MIMO(Multiple-Input Multiple-Output)技术作为5G的关键技术之一,在提升系统频谱效率和传输可靠性方面具有突出优势。但是大规模MIMO在实现的过程中,面临着严重的用户间干扰问题,而解决用户间干扰的有效途径是使用预编码技术。同样的,将预编码技术用于大规模MIMO系统,其实现也将面临着诸多的挑战。其中,信号处理计算复杂度过高以及硬件成本和功耗过高就是其面临的两个严峻的挑战。本文主要针对这些挑战展开研究。首先,研究了大规模MIMO的基础理论,介绍了其基本模型并对其信道特性进行了理论分析。从理论上推导了大规模MIMO系统的频谱效率上界并对实际频谱效率进行了仿真分析。其次,研究了配备高精度数模转换器(Digital-to-Analog Converter,DAC)的大规模MIMO系统中的预编码技术,重点研究了其线性预编码技术。针对传统预编码算法的计算复杂度较高的问题,研究了基于迭代法的预编码算法,并提出一种基于PCG(Preconditional Conjugate Gradient)迭代的预编码算法。仿真结果表明所提出的算法不仅具有较低的复杂度,而且还具有较快的收敛速度。最后,为了降低基站端硬件成本和功耗,研究了使用1-比特DAC进行量化的大规模MIMO系统中的预编码技术,针对传统的线性预编码在1-比特场景下效果不理想的缺点,重点研究了非线性预编码算法。文中提出一种Neumann-AM(Neumann series expansion Alternating Minimization)预编码算法。仿真结果表明,所提出的算法不仅能保证量化预编码的误码率性能,而且大大降低了计算的复杂度。